MV-Forcing: 4D 기반 시공간 자기강제를 통한 장기 다중뷰 비디오 생성

왜 중요한가

장기간에 걸친 동적 장면을 여러 시점에서 일관되게 생성하는 문제는 가상현실, 영화 제작, 시뮬레이션 등 실용 분야에서 핵심적 제약으로 남아 있었다. 이 논문은 생성 과정에 누적되는 3차원 기하학 정보를 명시적으로 제공해 뷰 간 기하학적 드리프트를 억제하는 방식을 적용했다. 그 결과 단일 모델로 임의 길이의 시간 축과 임의 수의 관점으로 확장 가능한 생성이 가능해졌다.

핵심 기여

시공간 자기강제(Spatio-Temporal Self-Forcing)를 통한 뷰 축 확장

학습 시 점진적 뷰 순차 생성을 언롤링하여 학생 모델이 자기 생성물에 조건화되는 추론 상황과 유사한 환경에서 학습하도록 했다. 이로써 뷰 축의 exposure bias가 줄어들고 뷰 체인 전반에서 안정적인 교차-뷰 동기화가 확보됐다. 해당 절차는 기존 Self-Forcing을 뷰 차원으로 확장한 것이다.

반복적 3D 재구성 모델을 기하학적 브리지로 통합

CUT3R과 같은 순차적 재구성 모델의 누적 상태를 쿼리하여 다음 목표 뷰의 렌더링과 신뢰도 맵을 얻고 이를 Conv3d로 토큰 공간에 주입했다. 이 기하학적 우선신호가 뷰 간의 엄격한 3D 일관성을 제공하여 장기 생성에서의 기하학적 드리프트를 완화했다. Conv3d는 zero-init으로 시작해 안정적으로 통합이 진행됐다.

뷰-순차 자기회귀와 시간 자기회귀의 단일 모델 합성

시공간 격자의 두 축 모두에 대해 자기회귀 구조를 구성해 한 모델이 시간적으로 연장된 영상과 다중 뷰를 동시에 생성하도록 체인을 구성했다. 각 블록은 KV 캐시로 시간 문맥을 유지하고 직전 클린 뷰를 통해 뷰 문맥을 확보한다. 이 구조는 생성 순서를 유연하게 하여 시간 또는 뷰 축 어느 쪽으로도 진행할 수 있게 한다.

분포 일치 증류(DMD)와 자기강제를 결합한 증류 전략

Bidirectional한 강교사(teacher)를 데이터 스코어로 삼아 소스-학생(student) 구조를 비대칭 DMD로 증류하고, 학생의 자체 생성 출력을 DMD 손실로 평가했다. 이 과정을 통해 많은 단계의 교사를 소수 단계의 인과적 학생으로 압축하면서도 교사 분포와의 일치를 유지했다. 증류 단계에서는 학생의 시간 레이어를 고정하고 MVS 계층을 fine-tune했다.

핵심 아이디어 이해하기

문제의 출발점은 두 축(시간·뷰)을 동시에 확장하려고 할 때 기존의 모든-대-모두(bidirectional) attention이 메모리와 연산을 기하급수적으로 증가시켜 스트리밍 추론과 장기 확장을 불가능하게 만든다는 점이다. 단일 축에서의 시간적 자기회귀는 긴 시퀀스를 가능하게 했지만, 뷰 축으로 단순 확장하면 기하학적 앵커가 없어서 뷰 사이에 누적된 오차가 빠르게 퍼진다. 따라서 시간과 뷰를 함께 다루려면 명시적 기하학적 신호가 필요하다. 이 논문은 반복적 3D 재구성 모델이 생성된 뷰를 누적 상태로 통합하여 임의의 가상 카메라로 렌더 가능한 기하학적 우선신호를 제공할 수 있음을 핵심 관찰로 삼았다. 이 우선신호가 각 새 뷰의 초기 조건으로 작동하면 순차적 생성 동안에 뷰 간의 3D 정렬이 유지된다. 두 번째 핵심 직관은 학습-추론 분포 불일치, 즉 exposure bias를 뷰 차원까지 확장하여 해결할 필요가 있다는 점이다. 이를 위해 학습 시 학생이 스스로 생성한 이전 뷰를 조건으로 사용하도록 언롤링하여 추론 환경을 모사했고, DMD 손실을 통해 학생 출력 분포를 교사 분포와 정렬시켰다. 결과적으로 기하학적 우선신호와 시공간 자기강제가 결합되면서 단일 소수-스텝 학생 모델이 시간적·뷰적 확장이 가능한 생성 능력을 획득했다.

방법론

전체 접근 방식은 텍스트 프롬프트와 카메라 시퀀스를 입력받아 뷰-순차적 자기회귀와 시간적 자기회귀를 하나의 학생 네트워크에 합성하는 구조로 구성되어 있다. 우선 이전에 생성된 클린(latent) 뷰는 3D VAE 디코더로 픽셀 공간으로 복원된 뒤 CUT3R의 누적 상태로 업데이트된다. 그 상태를 목표 뷰의 카메라 매개변수로 쿼리하면 RGB 렌더링과 픽셀별 신뢰도 맵이 반환되며, 이들을 인코딩하고 채널 결합한 후 3D Conv로 토큰 공간에 투입해 생성 조건으로 사용한다. 네트워크 내부에서는 DiT 블록 기반의 변형을 사용하되 시간축은 인과적 causal attention으로 처리하고 MVS 모듈을 통해 동일 시점의 교차-뷰 attention을 적용한다. 학습 전략은 비대칭 DMD와 스팸토템포럴(Self-Forcing) 언롤링을 결합한 형태이다. 훈련 단계에서는 먼저 학생을 ODE 솔루션 쌍으로 초기화한 뒤 few-step 스케줄로 출력한 자기 생성 결과에 대해 교사(동작이 많은 bidirectional 모델)의 데이터 스코어와 학생 스코어 차이를 이용해 파라미터를 갱신한다. 또한 훈련 중 일정 확률로 두 뷰를 모두 노이즈로 초기화하여 첫 뷰의 텍스트 생성 경로와 뷰-순차적 조건화 경로를 하나의 아키텍처에서 통일했다.

주요 결과

단기 2뷰, 81프레임 비교에서 MV-Forcing은 카메라 정확도와 뷰 동기화 지표에서 SynCamMaster보다 우수한 성능을 보였다. 예컨대 RotErr와 TransErr 항목에서 MV-Forcing은 3.64와 8.26을 확보해 교사 대비 더 낮은 오차를 달성했다는 표가 제시되었다. 장기 평가(3뷰, 162프레임)에서는 MV-Forcing이 모든 평가 축(시각 품질, 카메라 정확도, 크로스-뷰 동기화)에서 SF+ReCamMaster 및 그 변형들을 앞섰다. 실험 표에 따르면 실제(real) 설정에서 MV-Forcing의 FID는 153.27로 SF+ReCamMaster의 157.57보다 낮았고 Mat. Pix와 CLIP-V 같은 뷰 동기화 지표에서도 상당한 우위를 점했다. 추가적으로 구성요소별 소거 실험에서 뷰 언롤링 제거가 성능 저하를 가장 크게 초래했고 CUT3R 제거가 그 다음으로 큰 악영향을 끼쳐 기하학적 우선신호와 뷰-순차 학습의 중요성이 수치로 확인되었다. 뷰 수를 2에서 5로 늘리거나 시간 길이를 81에서 648로 늘려도 주요 뷰 동기화 지표는 비교적 안정적으로 유지되는 경향이 관찰되었다.

기술 상세

전체 아키텍처는 텍스트-투-비디오 DiT 기반 블록을 출발점으로 하여 학생 네트워크 내부에 causal temporal attention과 MVS cross-view attention을 혼합한 구조를 채용했다. 입력 파이프라인은 3D VAE 인코더/디코더 쌍으로 구성되어 잠재 비디오 표현 z_j를 생성하고 패치화하여 트랜스포머 토큰으로 변환한다. CUT3R은 누적 상태 S를 유지하는 반복적 4D 재구성 모델로서, 디코더 𝒟로부터 복원된 이전 뷰들을 순차적으로 통합해 임의 카메라 ℛ로부터 렌더링 I와 신뢰도 C를 반환한다. 이 렌더링과 신뢰도는 인코더 ℰ로부터 잠재 비디오로 바뀌고 채널 결합되어 g_k 텐서를 형성한 뒤 zero-init Conv3d로 투영되어 패치 임베딩에 잔차로 더해진다. 학습 손실로는 비대칭 DMD가 핵심이며 식(4)과 같이 학생의 few-step 출력에 대해 교사의 데이터 스코어와 학생 스코어 차이를 기대값 형태로 계산한 그래디언트 근사로 파라미터를 갱신한다. 수렴을 돕기 위해 학생은 먼저 ODE 솔루션 쌍으로 예비 초기화되고, 시간 레이어는 선행 Self-Forcing 모델의 파라미터로 초기화해 고정한 채 MVS 파라미터만 세부 조정하는 단계가 포함되었다. 구현 세부로는 temporal block 크기 K로 causal mask M_{i,j}를 정의해 블록 단위의 causal attention을 적용했으며, few-step 스케줄 {τ_q}는 Q 단계 역순 노이즈 레벨로 운영되어 노이즈 재주입 Ψ 연산을 통해 다음 레벨로 진행한다.

한계점

연구 팀은 주로 합성 SynCamVideo 데이터로 학습을 수행했고 실세계 일반화는 ReCamMaster 기반 미세조정으로 일부 해결했지만 대규모의 실제 다중뷰 비디오 데이터로 학습하면 다양성과 사실감이 더 향상될 가능성이 있다. 시간적으로 매우 긴 구간에서는 여전히 자기회귀적 누적 오차로 인해 화질·운동 일관성이 점진적으로 저하되는 경향이 관찰되며, 본 논문은 이 문제를 완전히 제거하지는 못했다. 또한 본 증류 과정에서 교사 모델이 두 뷰만 동시에 생성하는 제약으로 인해 학습 시 직접적으로 세 개 이상의 동시 뷰 정합을 감독하지 못했으며, 이로 인해 매우 높은 뷰 카운트 상황에서는 추가적인 확장이 필요할 수 있다.

키워드

video diffusion models(비디오 디퓨전 모델)spatio-temporal self-forcing(시공간 자기강제)4D geometric prior(4D 기하학 우선신호)CUT3R(연속 3D 재구성 모델)distribution matching distillation(분포 일치 증류)

용어 해설

4차원 재구성(4D Reconstruction): — 연속된 시간축을 포함한 장면의 3차원 형태와 시간적 변화를 동시에 표현하는 재구성 기법으로, 순차적으로 관측을 통합해 장면의 공간·시간 구조를 누적 상태로 저장하고 임의 시점의 가상 카메라로 렌더링할 수 있어 다중뷰·장기 생성에 기초 정보를 제공한다.
분포 일치 증류(Distribution Matching Distillation): — 다중 단계의 생성 교사(teacher)가 생성하는 데이터 스코어를 목표로 삼아 소수 단계의 학생(student)을 학습시키는 기법으로, 학생의 출력 분포와 교사 데이터 스코어를 맞추도록 손실을 계산하여 많은 단계의 denoising 동작을 소수 단계로 축약하면서 분포 일관성을 유지하게 한다.
다중뷰 동기화 모듈(MVS Module): — 각 프레임에서 서로 다른 카메라 뷰의 토큰이 동일 시점에서 상호 주의를 수행하도록 설계된 모듈로서 카메라 임베딩을 추가하고 교차-뷰 attention을 적용하여 뷰 간의 외형·기하학적 정렬을 강화한다.
시공간 자기강제(Spatio-Temporal Self-Forcing): — 기존의 Self-Forcing을 시간축뿐 아니라 뷰 축으로 확장한 학습 절차로서, 훈련 중에 모델이 생성한 이전 뷰를 조건으로 순차 생성(unrolling)하여 추론 시 발생하는 노이즈 누적과 분포 불일치(exposure bias)를 줄이는 방식이다.
뷰 순차적 자기회귀(View-Sequential Autoregression): — 다수의 관측 뷰를 순서대로 생성하면서 각 새 뷰를 바로 앞 뷰의 완전한(denoised) 잠재 표현에 조건화하는 생성 전략으로, 뷰 간의 일관성을 유지하되 전체 시간-뷰 격자를 점진적으로 확장할 수 있게 한다.

MV-Forcing: 4D 기반 시공간 자기강제를 통한 장기 다중뷰 비디오 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 피드