ShotVerse: 텍스트 기반 멀티샷 비디오 생성을 위한 시네마틱 카메라 제어 기술의 진보

텍스트 기반 비디오 생성은 영화 제작을 대중화했지만, 시네마틱 멀티샷(multi-shot) 시나리오에서의 카메라 제어는 여전히 큰 장벽으로 남아 있습니다. 암시적인 텍스트 프롬프트는 정밀도가 부족한 반면, 명시적인 궤적 조건화(trajectory conditioning)는 감당하기 힘든 수동 작업 비용을 초래하며 현재 모델들에서 실행 실패를 유발하는 경우가 많습니다. 이러한 병목 현상을 극복하기 위해, 본 논문은 정렬된 (캡션, 궤적, 비디오) 삼중항이 자동화된 구성(plotting)과 정밀한 실행을 연결할 수 있는 고유한 결합 분포를 형성한다는 데이터 중심의 패러다임 전환을 제안합니다. 이러한 통찰에 기반하여, 생성을 두 개의 협업 에이전트로 분리하는 '계획 후 제어(Plan-then-Control)' 프레임워크인 ShotVerse를 제시합니다. 이 프레임워크는 공간적 사전 지식을 활용하여 텍스트로부터 시네마틱하고 전역적으로 정렬된 궤적을 얻는 비전 언어 모델(VLM, Vision-Language Model) 기반의 플래너(Planner)와, 카메라 어댑터(camera adapter)를 통해 이러한 궤적을 멀티샷 비디오 콘텐츠로 렌더링하는 컨트롤러(Controller)로 구성됩니다. 우리 접근 방식의 핵심은 데이터 기반을 구축하는 데 있습니다. 우리는 분리된 단일 샷 궤적들을 하나의 통합된 전역 좌표계(global coordinate system)로 정렬하는 자동화된 멀티샷 카메라 보정(camera calibration) 파이프라인을 설계했습니다. 이는 우리 프레임워크의 근간이 되는 3트랙 평가 프로토콜을 갖춘 고충실도 시네마틱 데이터셋인 ShotVerse-Bench의 구축을 가능하게 했습니다. 광범위한 실험은 ShotVerse가 신뢰할 수 없는 텍스트 제어와 노동 집약적인 수동 구성 사이의 간극을 효과적으로 메우며, 우수한 시네마틱 미학을 달성하고 카메라 정확도와 샷 간 일관성(cross-shot consistency)을 모두 갖춘 멀티샷 비디오를 생성함을 보여줍니다.