Synesthesia: 로컬 LLM과 LTX-Video를 활용한 AI 뮤직비디오 디렉터 도구

작성자가 직접 제작한 결과물에 대해 긍정적인 반응이 있으며, 특히 로컬 환경에서의 제작 속도와 워크플로의 효율성에 관심을 보이고 있다.

• 로컬 LLM 실행을 위해 LM Studio나 llama.cpp를 미리 설치하고 Qwen 모델을 준비할 것.
• 비디오 생성 속도를 높이려면 ComfyUI 대신 LTX-Desktop 인터페이스를 활용할 것.
• 최종 영상의 품질을 높이기 위해 각 샷마다 여러 테이크를 생성한 후 수동으로 선별할 것.

보컬 스템(Vocal Stem)

— 음악 믹싱에서 악기 소리를 제외하고 보컬 트랙만 따로 추출한 오디오 파일을 의미한다. AI가 가창 시점을 정확히 파악하여 화면을 전환하는 기준으로 활용되며, 노래하는 장면과 배경 장면을 구분하는 핵심 데이터로 쓰인다.

샷 리스트(Shot List)

— 영상 제작 시 촬영할 각 장면의 구성, 각도, 내용을 순서대로 정리한 목록이다. 이 도구에서는 LLM이 가사와 음악의 맥락을 분석하여 자동으로 생성하며, 사용자가 각 장면의 프롬프트를 수정하거나 길이를 조절하는 설계도로 활용된다.

LTX-Video

— 고해상도 비디오 생성을 지원하는 최신 오픈소스 AI 모델이다. 텍스트 프롬프트를 기반으로 일관성 있는 영상을 빠르게 생성하는 데 특화되어 있으며, 이 도구에서는 LTX-Desktop 인터페이스를 통해 실제 영상 렌더링을 담당하는 핵심 엔진으로 사용된다.