MV-Forcing: 4D 기반 시공간 자기강제를 통한 장기 다중뷰 비디오 생성

장기간에 걸친 동적 장면을 여러 시점에서 일관되게 생성하는 문제는 가상현실, 영화 제작, 시뮬레이션 등 실용 분야에서 핵심적 제약으로 남아 있었다. 이 논문은 생성 과정에 누적되는 3차원 기하학 정보를 명시적으로 제공해 뷰 간 기하학적 드리프트를 억제하는 방식을 적용했다. 그 결과 단일 모델로 임의 길이의 시간 축과 임의 수의 관점으로 확장 가능한 생성이 가능해졌다.

문제의 출발점은 두 축(시간·뷰)을 동시에 확장하려고 할 때 기존의 모든-대-모두(bidirectional) attention이 메모리와 연산을 기하급수적으로 증가시켜 스트리밍 추론과 장기 확장을 불가능하게 만든다는 점이다. 단일 축에서의 시간적 자기회귀는 긴 시퀀스를 가능하게 했지만, 뷰 축으로 단순 확장하면 기하학적 앵커가 없어서 뷰 사이에 누적된 오차가 빠르게 퍼진다. 따라서 시간과 뷰를 함께 다루려면 명시적 기하학적 신호가 필요하다. 이 논문은 반복적 3D 재구성 모델이 생성된 뷰를 누적 상태로 통합하여 임의의 가상 카메라로 렌더 가능한 기하학적 우선신호를 제공할 수 있음을 핵심 관찰로 삼았다. 이 우선신호가 각 새 뷰의 초기 조건으로 작동하면 순차적 생성 동안에 뷰 간의 3D 정렬이 유지된다. 두 번째 핵심 직관은 학습-추론 분포 불일치, 즉 exposure bias를 뷰 차원까지 확장하여 해결할 필요가 있다는 점이다. 이를 위해 학습 시 학생이 스스로 생성한 이전 뷰를 조건으로 사용하도록 언롤링하여 추론 환경을 모사했고, DMD 손실을 통해 학생 출력 분포를 교사 분포와 정렬시켰다. 결과적으로 기하학적 우선신호와 시공간 자기강제가 결합되면서 단일 소수-스텝 학생 모델이 시간적·뷰적 확장이 가능한 생성 능력을 획득했다.

전체 접근 방식은 텍스트 프롬프트와 카메라 시퀀스를 입력받아 뷰-순차적 자기회귀와 시간적 자기회귀를 하나의 학생 네트워크에 합성하는 구조로 구성되어 있다. 우선 이전에 생성된 클린(latent) 뷰는 3D VAE 디코더로 픽셀 공간으로 복원된 뒤 CUT3R의 누적 상태로 업데이트된다. 그 상태를 목표 뷰의 카메라 매개변수로 쿼리하면 RGB 렌더링과 픽셀별 신뢰도 맵이 반환되며, 이들을 인코딩하고 채널 결합한 후 3D Conv로 토큰 공간에 투입해 생성 조건으로 사용한다. 네트워크 내부에서는 DiT 블록 기반의 변형을 사용하되 시간축은 인과적 causal attention으로 처리하고 MVS 모듈을 통해 동일 시점의 교차-뷰 attention을 적용한다. 학습 전략은 비대칭 DMD와 스팸토템포럴(Self-Forcing) 언롤링을 결합한 형태이다. 훈련 단계에서는 먼저 학생을 ODE 솔루션 쌍으로 초기화한 뒤 few-step 스케줄로 출력한 자기 생성 결과에 대해 교사(동작이 많은 bidirectional 모델)의 데이터 스코어와 학생 스코어 차이를 이용해 파라미터를 갱신한다. 또한 훈련 중 일정 확률로 두 뷰를 모두 노이즈로 초기화하여 첫 뷰의 텍스트 생성 경로와 뷰-순차적 조건화 경로를 하나의 아키텍처에서 통일했다.

단기 2뷰, 81프레임 비교에서 MV-Forcing은 카메라 정확도와 뷰 동기화 지표에서 SynCamMaster보다 우수한 성능을 보였다. 예컨대 RotErr와 TransErr 항목에서 MV-Forcing은 3.64와 8.26을 확보해 교사 대비 더 낮은 오차를 달성했다는 표가 제시되었다. 장기 평가(3뷰, 162프레임)에서는 MV-Forcing이 모든 평가 축(시각 품질, 카메라 정확도, 크로스-뷰 동기화)에서 SF+ReCamMaster 및 그 변형들을 앞섰다. 실험 표에 따르면 실제(real) 설정에서 MV-Forcing의 FID는 153.27로 SF+ReCamMaster의 157.57보다 낮았고 Mat. Pix와 CLIP-V 같은 뷰 동기화 지표에서도 상당한 우위를 점했다. 추가적으로 구성요소별 소거 실험에서 뷰 언롤링 제거가 성능 저하를 가장 크게 초래했고 CUT3R 제거가 그 다음으로 큰 악영향을 끼쳐 기하학적 우선신호와 뷰-순차 학습의 중요성이 수치로 확인되었다. 뷰 수를 2에서 5로 늘리거나 시간 길이를 81에서 648로 늘려도 주요 뷰 동기화 지표는 비교적 안정적으로 유지되는 경향이 관찰되었다.

전체 아키텍처는 텍스트-투-비디오 DiT 기반 블록을 출발점으로 하여 학생 네트워크 내부에 causal temporal attention과 MVS cross-view attention을 혼합한 구조를 채용했다. 입력 파이프라인은 3D VAE 인코더/디코더 쌍으로 구성되어 잠재 비디오 표현 z_j를 생성하고 패치화하여 트랜스포머 토큰으로 변환한다. CUT3R은 누적 상태 S를 유지하는 반복적 4D 재구성 모델로서, 디코더 𝒟로부터 복원된 이전 뷰들을 순차적으로 통합해 임의 카메라 ℛ로부터 렌더링 I와 신뢰도 C를 반환한다. 이 렌더링과 신뢰도는 인코더 ℰ로부터 잠재 비디오로 바뀌고 채널 결합되어 g_k 텐서를 형성한 뒤 zero-init Conv3d로 투영되어 패치 임베딩에 잔차로 더해진다. 학습 손실로는 비대칭 DMD가 핵심이며 식(4)과 같이 학생의 few-step 출력에 대해 교사의 데이터 스코어와 학생 스코어 차이를 기대값 형태로 계산한 그래디언트 근사로 파라미터를 갱신한다. 수렴을 돕기 위해 학생은 먼저 ODE 솔루션 쌍으로 예비 초기화되고, 시간 레이어는 선행 Self-Forcing 모델의 파라미터로 초기화해 고정한 채 MVS 파라미터만 세부 조정하는 단계가 포함되었다. 구현 세부로는 temporal block 크기 K로 causal mask M_{i,j}를 정의해 블록 단위의 causal attention을 적용했으며, few-step 스케줄 {τ_q}는 Q 단계 역순 노이즈 레벨로 운영되어 노이즈 재주입 Ψ 연산을 통해 다음 레벨로 진행한다.

연구 팀은 주로 합성 SynCamVideo 데이터로 학습을 수행했고 실세계 일반화는 ReCamMaster 기반 미세조정으로 일부 해결했지만 대규모의 실제 다중뷰 비디오 데이터로 학습하면 다양성과 사실감이 더 향상될 가능성이 있다. 시간적으로 매우 긴 구간에서는 여전히 자기회귀적 누적 오차로 인해 화질·운동 일관성이 점진적으로 저하되는 경향이 관찰되며, 본 논문은 이 문제를 완전히 제거하지는 못했다. 또한 본 증류 과정에서 교사 모델이 두 뷰만 동시에 생성하는 제약으로 인해 학습 시 직접적으로 세 개 이상의 동시 뷰 정합을 감독하지 못했으며, 이로 인해 매우 높은 뷰 카운트 상황에서는 추가적인 확장이 필요할 수 있다.