MVTrack4Gen: 4D 비디오 생성을 위한 기하학적 감독으로서의 다중-뷰 포인트 트래킹

단일 카메라 참조 동영상에서 사용자가 지정한 카메라 궤적로 새로운 시점의 동영상을 합성하려면 시점 제어, 기하학적 일관성, 모션 보존이 동시에 필요하다. MVTrack4Gen은 DiT의 특정 attention 레이어에서 추출한 대응 단서를 다중뷰 포인트 트래킹 감독으로 활용해 명시적 3D 재구성 없이 기하·모션 일관성을 크게 개선한다.

문제 출발점과 기존 한계: 단일 레퍼런스 비디오에서 사용자가 지정한 카메라 궤도로 novel-view 비디오를 합성하려면 장면의 3D 구조와 동적 물체의 시간적 궤적을 모두 보존해야 한다. 기존의 Explicit 3D Lifting 계열은 외부 재구성 모듈에 의존해 동적 객체의 잘못된 깊이 추정이나 불완전한 기하가 있다면 타겟 합성에 왜곡과 flying-pixel을 유발했다. 반면 camera-conditioning-only 계열은 고품질의 외관을 얻으나 명시적 기하학적 그라운딩이 없어 동적 객체의 위치·모션 일관성이 떨어지는 한계가 있다.

전체 접근과 핵심 아이디어: 입력으로 reference video X_ref와 목표 카메라 cam_tgt을 받아 VAE로 각 뷰를 latent z_ref, z_tgt로 인코딩한 뒤 DiT에 [z_ref, z_tgt]를 토큰 차원으로 연결해 3D Attention을 수행한다. DiT 내부 특정 중간 레이어의 쿼리 Q와 키 K에서 emergent correspondence가 두드러져, 해당 레이어의 Q/K를 추출해 multi-scale 4D correlation volume을 구성하고 transformer 기반 multi-view tracking head에 공급한다.

메인 벤치마크 성능(DAVIS/iPhone): DAVIS에서 MVTrack4Gen을 ReCamMaster에 결합한 경우 MEt3R이 3.660 → 1.858로 개선(Δ = -1.802)되었고, MEt3R_dynamic은 0.113 → 0.100으로 감소했다. Redirector 기반에서도 MEt3R은 0. (테이블 참조) iPhone에서는 ReCamMaster의 PSNR이 11.005 → 11.521(+0.516)로 개선되었고, LPIPS 및 MEt3R에서도 개선이 나타났다. Ablation 결과: (i) Plücker 인코딩, (ii) correspondence loss 단독 적용, (iii) tracking module 단독 적용, (iv) 두 구성 통합 순으로 비교했을 때 (iv)가 PSNR 11.389, MEt3R 0.416 등 최종 성능을 보였다.

아키텍처 구성: 입력 비디오는 VAE로 압축되어 z_ref, z_tgt ∈ ℝ^{f×h×w×d_video}가 생성된다. DiT는 두 latent의 연결된 토큰을 받아 flow-matching 기반의 velocity 예측자 v_θ([z_ref, z_tgt], t, c, cam_tgt)를 학습한다. DiT 내부의 3D Attention 블록은 각 뷰·프레임의 쿼리 Q^{v}_i, 키 K^{v}_j ∈ ℝ^{hw×d_head}를 생성하고, 어텐션 행렬은 Softmax( Q^{v1}_i (K^{v2}_j)^T / sqrt(d_head) )로 계산된다. [입력: Q,K] → [연산: 내적/스케일 후 softmax] → [결과: attention weight matrix C] → [의미: 어느 토큰이 어떤 위치를 참조하는지 확률분포로 표현].