MuSS: 다중샷 비디오 생성 및 S2V 생성을 위한 이중 트랙 데이터셋

현행 영상 기초 모델은 단일 샷 생성에 최적화되어 있어 실제 영화적 서사를 구현하는 다중샷 시퀀스의 제어와 연속성 확보가 어렵다. MuSS는 3,000편이 넘는 영화에서 추출한 다중샷 비디오/S2V 생성을 위한 이중 트랙 데이터셋을 제시하고, 로컬 샷 수준의 정확성에서 글로벌 서사 일관성으로 점진적으로 확립하는 프로그레시브 캡션 파이프라인과 크로스샷 매칭 메커니즘을 통해 S2V의 복사-붙여넣이 문제를 근본적으로 제거한다. 또한 시각적 논리 기반 벤치마크와 ACP-Var 지표를 도입해 연속적 서사성과 3D 구조적 일관성을 엄밀히 평가한다. 이로써 현재의 베이스라인이 연속적 서사를 유지하기보다는 2D 스티커 생성에 빠지는 한계를 극복할 수 있다.

초기 문제 정의: 영상 생성 모델은 일반적으로 단일 샷 중심이다. 다중샷으로 구성된 영화적 서사를 구현하려면 샷 경계, 맥락 연결성, 샷 간 아이덴티티 보존이 모두 필요하지만 데이터와 평가 체계가 부족하다. 이 논문은 두 축의 데이터셋과 파이프라인을 통해 이 한계를 해결한다. MuSS 데이터셋은 다중샷 비디오와 S2V를 모두 지원하는 이중 트랙 구조를 갖추고, progressive captioning으로 샷 단위의 정확성부터 글로벌 서사 흐름까지 순차적으로 맞춘다. 또한 cross-shot matching으로 S2V의 복사-붙여넣이 문제를 차단하고, 새로 제시한 ACP-Var 지표로 연속적 서사와 3D 구조적 일관성을 정량화한다. 이로써 기존 접근의 2D 스티커 생성 문제를 넘어, 연속적인 영화적 서사를 구현하는 방향으로 실무 및 연구 흐름을 전진시킨다.

다음과 같이 구성한다. 샷 경계 탐지 및 원시 영상을 수집하는 데이터 프레이밍 → 샷별 캡션의 로컬 정확성 확보를 위한 progressive captioning 파이프라인 → 샷 간 맥락 연결을 위한 글로벌 서사 일관성 강화 → cross-shot matching으로 주제 일관성 유지 및 copy-paste 방지 → Cinematic Narrative Benchmark 및 ACP-Var를 통한 평가 → MuSS 데이터 및 벤치마크를 이용한 모델 학습 및 평가.

주요 벤치마크에서 MuSS-향상 모델이 연속적 서사 로직과 샷 간 아이덴티티 보존 측면에서 기존 baselines보다 우수하다고 보고한다. 또한 Cross-shot Identity Preservation 측면에서도 개선이 확인되며, 3D 구조적 일관성 평가에서도 높은 점수를 기록한다. 베이스라인은 연속적 서사를 유지하기보다 2D 스티커 생성에 가까운 경향을 보인다.

아키텍처 차원에서 MuSS는 다중샷 비디오 생성 및 S2V를 위한 데이터 파이프라인과 평가 프레임워크를 포함한다. 프로그래밍적으로는 데이터 전처리 파이프라인에서 샷 경계 탐지, 샷 간 매칭, 샷 레벨 캡션 생성 및 글로벌 서사 정합성 검증을 수행한다. 핵심은 progressive captioning과 cross-shot matching으로, 로컬 정보의 정확성을 확보한 뒤 샷 간 서사를 정렬한다. Prior work 대비 차별점은 1) 이중 트랙 데이터셋 구조, 2) 로컬-글로벌 캡션 정합성 보장 파이프라인, 3) 샷 간 아이덴티티 보존을 위한 cross-shot 매칭, 4) ACP-Var를 통한 지속적 서사 및 3D 구조 평가의 도입이다.