UnityShots: 경계 인지 게이팅 기반 메모리 구동 멀티샷 오디오-비디오 생성

장편 서사나 뮤직비디오처럼 여러 컷이 연속되는 영상에서 인물의 외형·음성·장면 컨텍스트 일관성 유지가 필수적이다. UnityShots는 컷 경계의 시각·음향 신호를 활용해 고정 크기 메모리 슬롯을 제어함으로써 샷 간 신원·음성 일관성을 크게 개선한다.

문제 출발점과 기존 한계: 멀티샷 영상 생성에서는 샷 간 '신원(identity)·장면(scene)·화자' 일관성 유지가 필요하다. 기존 end-to-end 방식은 전체 시퀀스를 하나의 컨텍스트로 처리해 GPU 메모리 한계로 긴 시퀀스를 다루기 어렵고, shot-by-shot 방식은 조건창이 열을 지나가면 오리지널 앵커 정보가 지워져 identity drift가 발생하거나 메모리 뱅크가 시퀀스 길이에 따라 선형으로 증가한다. 에이전트 기반 파이프라인은 외부 LLM으로 오케스트레이션하지만 기반 생성기는 cross-shot 신호를 내부적으로 전파하도록 학습되지 않은 경우가 많다.

전체 접근과 핵심 아이디어: UnityShots는 LTX-2.3(22B dual-stream diffusion transformer)을 백본으로 사용하고 비디오 스트림에 두 개의 고정 크기 슬롯(LTM, STM)을 둔다. 각 샷 경계마다 시각적 컷 확률(s_vis), 오디오 에너지 변화(s_aud), 박자 위치(s_beat)를 가중 결합해 연속 경계 점수 b_N을 계산하고, 이를 통해 LTM·STM의 갱신 게이트 g_ltm(b)와 g_stm(b)를 구해 메모리 업데이트 비중을 조정한다. 오디오는 참조 화자 토큰을 매 샷 주입해 화자 일관성을 유지한다.

메인 벤치마크 성능: UnityShots(I2V)는 제안된 multi-cultural benchmark에서 open-source I2V baselines 대비 모든 비디오 및 cross-shot coherence 지표에서 선두를 차지했으며, Narrative Coherence(NC)에서 가장 강한 오픈소스 대비 +0.40, Story에서 +0.69 향상치를 보고했다. Closed-source Kling과 비교해 NC +0.13, Story +0.10, 오디오 AES-A +0.47 우위를 보였다. T2V 및 R2V 모드에서도 HoloCine와 DreamID-Omni 대비 다수 지표에서 우세를 보였다.

아키텍처 구조: 백본은 LTX-2.3, 22B 파라미터의 dual-stream diffusion transformer다. 비디오 토큰은 Block-Relativistic 3D RoPE(temporal ceiling f_lim=128)를 사용하고 오디오는 별도 1-D RoPE(f_lim^a=1024)를 사용한다. 입력 토큰 시퀀스는 [X_ref, L^N, S^N, A_ref, V_t^N ⊕ A_t^N] 형태로 결합되어 shared dual-stream attention 블록으로 처리된다.

논문에서 명시된 한계는 자막 렌더링의 간헐적 불안정성, 동시 다중 화자가 존재하거나 구성적으로 복잡한 장면에서의 시각적 열화가 포함된다.