숏폼 비디오 분석을 위한 오픈소스 CLI 도구 개발

실용적 조언

비디오 분석 시 전체 프레임 대신 ffmpeg로 키프레임만 추출하여 LLM의 토큰 사용량과 비용을 절감할 것
오디오 데이터가 중요한 콘텐츠의 경우 Whisper를 로컬에 설치하여 전사 정확도를 높일 것

섹션별 상세

작성자는 숏폼 비디오의 성공 요인을 파악하여 '얼굴 없는 비디오 생성기'에 활용하기 위해 이 도구를 개발했다. ffmpeg를 사용하여 비디오에서 주요 프레임을 추출하고, Whisper가 설치된 경우 오디오를 텍스트로 변환하는 전처리 과정을 거친다. 추출된 시각 및 텍스트 데이터는 Claude 모델로 전송되어 콘텐츠의 특징, 작동 원리, 구성 방식에 대한 분석 결과로 출력된다. 이 도구는 현재 CLI 기반의 단일 Bash 스크립트로 구현되어 있으며 Claude Code 환경에서 실행 가능하다.

용어 해설

명령줄 인터페이스(CLI): — 텍스트 터미널을 통해 사용자가 명령어를 직접 입력하여 컴퓨터와 상호작용하는 방식이다. 그래픽 인터페이스(GUI) 없이도 복잡한 작업을 자동화하거나 도구를 빠르게 실행할 수 있는 환경을 제공한다.
에프에프엠펙(ffmpeg): — 디지털 오디오 및 비디오 데이터를 기록, 변환, 스트리밍하는 오픈소스 멀티미디어 프레임워크이다. 이 도구에서는 비디오 파일에서 분석에 필요한 특정 시점의 이미지(키프레임)를 추출하는 전처리에 활용된다.
위스퍼(Whisper): — OpenAI가 개발한 자동 음성 인식(ASR) 모델로, 다양한 언어의 오디오를 높은 정확도로 텍스트로 변환한다. 비디오의 음성 데이터를 텍스트로 추출하여 LLM이 내용을 분석할 수 있도록 돕는 역할을 한다.
클로드 코드(Claude Code): — Anthropic에서 제공하는 CLI 기반의 코딩 에이전트 도구이다. 터미널 환경에서 직접 코드를 작성하고 실행하며, AI 모델과 상호작용하여 개발 워크플로우를 자동화하는 데 사용된다.
키프레임(Key Frame): — 비디오 스트림에서 전체 이미지를 온전히 포함하고 있는 프레임으로, 영상의 주요 장면이나 변화를 대표한다. 영상 전체를 분석하는 대신 주요 키프레임만 추출하여 LLM에 입력함으로써 연산 효율성을 높인다.

언급된 도구

ffmpeg추천

비디오 키프레임 추출

Whisper추천

오디오 전사(Transcription)

Claude Code추천

도구 실행 및 개발 환경

Claude추천

콘텐츠 분석 및 패턴 파악

언급된 리소스

GitHubPokidex GitHub Repository