Claude Code를 위한 비디오 및 오디오 분석 플러그인: claude-video-vision

실용적 조언

화면 녹화된 버그 리포트를 분석할 때 /watch-video 명령어를 사용하여 원인 분석 시간을 단축할 수 있다.
보안이 중요한 프로젝트라면 오디오 백엔드로 Local Whisper를 선택하여 데이터를 외부로 전송하지 않고 처리할 수 있다.

섹션별 상세

비디오 분석을 위해 적응형 FPS(Frames Per Second) 추출 방식을 도입했다. 사용자가 1시간 분량의 강의 요약을 요청하면 낮은 FPS로 전체를 훑고, 특정 시점의 코드를 물으면 해당 구간의 해상도와 FPS를 높여 정밀하게 추출한다. 추출된 프레임은 이미지 형태로, 오디오는 타임스탬프가 포함된 텍스트로 변환되어 Claude에게 전달된다. 이를 통해 Claude는 시각 정보와 청각 정보를 하나의 맥락으로 통합하여 추론한다.

오디오 처리를 위해 세 가지 백엔드 선택지를 제공한다. Gemini API는 무료 티어(일일 1500회)를 통해 음성뿐 아니라 음악, 동물 소리 등 비언어적 요소까지 파악하는 네이티브 오디오 이해를 지원한다. 로컬 Whisper는 모델을 자동 다운로드하여 완전한 오프라인 환경에서 작동하며, OpenAI Whisper API를 통한 클라우드 처리도 가능하다. 사용자는 보안 요구사항이나 성능 선호도에 따라 /setup-video-vision 명령어로 설정을 변경한다.

실무적으로 화면 녹화 기반의 디버깅이나 튜토리얼 요약에 최적화되어 있다. 버그 리포트 영상에서 특정 사건 직전에 어떤 일이 일어났는지 묻거나, 영상 속에 노출된 코드 및 텍스트를 직접 추출하는 작업이 가능하다. 현재 macOS에서 테스트가 완료되었으며 Linux와 Windows 사용자의 피드백을 기다리는 단계이다. MIT 라이선스로 공개되어 누구나 무료로 사용하고 기여할 수 있다.

용어 해설

적응형 초당 프레임 수(Adaptive FPS): — 사용자의 질문 의도에 따라 비디오에서 추출하는 이미지 프레임의 빈도를 동적으로 조절하는 기술이다. 요약 시에는 낮은 FPS를, 특정 시점의 세부 분석 시에는 높은 FPS를 사용하여 토큰 효율성과 분석 정확도 사이의 균형을 맞춘다.
인지 계층(Perception Layer): — AI 모델이 외부 데이터(비디오, 오디오 등)를 받아들여 이해할 수 있는 형태로 변환하는 중간 처리 단계를 의미한다. 이 도구에서는 비디오 프레임 추출과 오디오 전사를 통해 Claude가 시청각 정보를 처리할 수 있게 돕는다.
타임스탬프 포함 전사(Timestamped Transcription): — 음성 데이터를 텍스트로 변환할 때 각 문장이 발화된 정확한 시간 정보를 함께 기록하는 방식이다. 이를 통해 LLM은 특정 텍스트가 비디오의 어느 시각적 장면과 일치하는지 정렬하여 추론할 수 있다.

코드 예제

bash

/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
/plugin install claude-video-vision
/setup-video-vision

Claude Code 내에서 플러그인을 설치하고 설정을 시작하는 명령어

언급된 도구

claude-video-vision추천링크

Claude Code용 비디오/오디오 인지 플러그인

Gemini API추천

오디오 이해 및 전사 백엔드

언급된 리소스

GitHubclaude-video-vision GitHub Repository