Claude를 활용한 100% 자동화 영상 제작 파이프라인 구축기

실용적 조언

복잡한 자동화 파이프라인 구축 시 LLM은 창의적 결정에, Python 코드는 기계적 규칙(오버레이 배치 등)에 할당하여 구조화하라.

섹션별 상세

작성자는 Polymarket과 Kalshi API에서 데이터를 가져와 Claude Sonnet으로 흥미로운 주제를 선별하고, Claude Opus를 통해 5단계 재귀적 대본 생성 과정을 거친다. 이후 ElevenLabs로 음성을 생성하고 Hedra Character-3로 캐릭터 영상을 제작하며, GPT Image 2와 Veo 3 Fast로 시각 자료를 만든다. 최종적으로 Python과 FFmpeg를 사용해 영상, 자막, 오버레이를 합성하는 자동화 파이프라인을 구축했다.

비용 효율성을 위해 에피소드당 약 2.5달러가 소요되며, 이 중 90%는 Hedra 크레딧 비용이다. Claude Opus를 활용한 창의적 의사결정은 에피소드당 약 15센트, ElevenLabs TTS는 5센트 수준으로, LLM 호출 비용은 전체 예산에서 차지하는 비중이 매우 낮다.

가장 큰 기술적 교훈은 LLM의 창의적 결정과 Python의 기계적 규칙을 분리하는 것이다. 초기에는 편집 조립까지 LLM에 맡겼으나 문맥 유지 문제로 실패했고, 대본 작성과 시각 자료 배치는 LLM이, 영상의 오버레이 배치와 같은 기계적 규칙은 결정론적 Python 코드가 처리하도록 구조를 변경하여 문제를 해결했다.

용어 해설

대규모 언어 모델(LLM): — 텍스트 생성 및 추론을 수행하는 AI 모델로, 이 글에서는 대본 작성과 편집 의사결정에 사용됨.
음성 합성(TTS): — 텍스트 데이터를 사람의 목소리로 변환하는 기술로, ElevenLabs를 통해 캐릭터의 대사를 생성함.
컨테이너 가상화 플랫폼(Docker): — 애플리케이션을 격리된 환경에서 실행하기 위해 사용되며, 작성자는 NAS에서 파이프라인을 구동하는 데 활용함.
파이프라인(Pipeline): — 여러 단계의 작업(데이터 수집, 대본 생성, 영상 제작 등)을 순차적으로 자동화하여 최종 결과물을 도출하는 시스템.

언급된 도구

Claude추천

대본 작성 및 편집 의사결정

ElevenLabs추천

캐릭터 음성 생성

Hedra추천

캐릭터 영상 생성

FFmpeg추천

영상 합성 및 자막 처리

GPT Image 2추천

시각 자료 생성

Veo 3 Fast추천

애니메이션 생성