TL;DR

video-use는 Claude Code 같은 셸 접근 가능한 에이전트에 스킬로 등록되어 원본 비디오 폴더를 읽고 자동으로 편집된 final.mp4를 생성하는 파이프라인이다. 핵심 작동 원리는 ElevenLabs Scribe가 만든 단어 단위 타임스탬프와 화자 분리를 기본 텍스트 표면으로 사용하고, 모호한 판단을 위해 필요한 구간에 한해 timeline_view라는 PNG 시각화를 생성해 LLM 판단 근거를 보강하는 것이다. 이 구조는 전체 프레임을 덤프했을 때 발생하는 토큰 폭주를 피하고 각 컷 경계에서 30ms 오디오 페이드, 자동 컬러 그레이딩, 자막 번인 등 후반 작업을 자동으로 수행하도록 설계되었다. 렌더 후 self-eval 루프가 시각적 점프와 오디오 문제를 검출해 최대 세 차례까지 재렌더링을 시도하는 점이 신뢰성 확보에 기여한다. 단, ffmpeg 설치와 ElevenLabs API 키 등록이 필요하며 LLM이 실제 프레임을 직접 보지 않기 때문에 극단적으로 복잡한 비주얼 변형을 요구하는 작업에서는 한계가 있을 수 있다.

핵심 포인트

• LLM이 전체 프레임을 읽지 않고 12KB 텍스트 + 선택적 PNG만으로 편집 결정을 내리며, 이로 인해 프레임 덤프 방식의 수백만 토큰 문제를 회피한다.
• timeline_view를 필요 시에만 생성하여 시각적 근거를 제공하고 일반적인 프레임 덤프 방식보다 I/O와 토큰 비용을 크게 줄인다.
• 렌더 후 self-eval 루프를 도입하여 컷 경계의 시각적 점프와 오디오 팝을 자동으로 검출하고 최대 3회까지 수정·재렌더링을 수행한다.
• 필러 단어와 불필요한 침묵을 단어 단위 타임스탬프를 기준으로 제거한다.

이미지 분석