MoCam: 구조화된 denoising dynamics를 활용한 통합형 신규 시점 합성

단일 입력에서의 기하 추정치는 불완전하고 시점 변화에 취약하다. 반면 고해상도 appearance 정보는 기하와의 정합이 불안정하게 된다. MoCam은 diffusion 프로세스의 단계별로 기하-appearance 신호를 분리해 먼저 기하를 안정적으로 고정하고, 이후 appearance로 미세한 보정과 재구성을 수행한다. 이로써 sparse/오염된 점 구성을 가진 데이터에서도 기하-외관 분리된 일관된 뷰 합성이 가능해진다.

단계별로 서로 다른 제약 신호를 순차적으로 활용하는 것이 핵심 원리이다. 초기에 scaffold 기반 지오메트리(anchor)를 사용해 글로벌 구조를 확립하고, 확산 프로세스의 뒤쪽에서 source 영상의 고해상도 appearance 정보를 사용해 남은 기하 오류를 보정하며 디테일을 강화한다. 이때 c(t)라는 시간 의존 conditioning은 타임스텝 t에 따라 c_ren(geometry)과 c_src(appearance) 중 하나를 선택하도록 설계되어, 일반적 지오메트리 문제에서도 구조-텍스처가 분리되어 안정적인 업데이트를 가능하게 한다. 이는 static한 정책으로 기하와 appearance를 한꺼번에 주입하는 방식의 한계를 극복하고, 3D/4D 뷰 합성에서의 오차 전이와 파손을 줄인다.

전체 접근은 latent video diffusion에 기반한다. 먼저 source 비디오 x_src에서 깊이 d_src를 얻고, Φ^{-1}(x_src, d_src, K)를 통해 dynamic point cloud p를 구성한 뒤 target trajectory ψ_tgt에 따라 x_tgt_ren를 렌더한다. 이 scaffold 영상은 c_ren으로 인코딩되어 z_tgt_ren에 frame 차원으로 연결되며 초기 노이즈 z_0와 합쳐진다. 이때 f_θ는 타임스텝 t에 따라 c(t)로 주어진 conditioning을 받는데, Tswitch를 임의의 임계값(논문에서 0.85로 설정)에서 c(t)가 c_ren에서 c_src로 바뀌도록 한다. 이후 latent를 디코더 D에 통과시켜 x_tgt를 얻는다. 학습은 Wan2.2 비디오 확산 모델 위에 20k 데이터 쌍(MultiCamVideo)으로 수행되며, 깊이/카메라 추정에 ViPE를 사용하고 Tswitch를 0.85로 설정한다. (패널 구조) 단일 프레임 재구성 및 4D 재카메라를 모두 포괄하는 stage-wise conditioning이 핵심이다.

주요 벤치마크에서 MoCam은 대체 방법 대비 우수한 성능을 보인다. 3D 재구성에서 VBench 지표의 구성요소 중 Perceptual Quality(IQ)에서 0.6961, FVD-V에서 255.16, CLIP-V에서 0.87, RotErr 1.35, TransErr 5.11을 달성했다. (GEN3C: 0.6909, 289.37, 0.80, 1.36, 5.12; TrajCrafter: 0.6700, 313.65, 0.79, 1.36, 5.11; ReCam: 0.5842, 355.26, 0.77, 2.13, 5.79) 4D 재카메라에서도 Ours (Wan2.1) 253.13의 FVD-V와 0.84 CLIP-V, RotErr 1.37, TransErr 5.11로 상위권을 차지한다. iPhone 다중뷰 데이터셋 평가에서 PSNR 14.60, SSIM 0.4581, LPIPS 0.4213, FVD 180.35로 GEN3C, TrajCrafter, ReCam 대비 우수합니다. ablation에서 Scaffold-Only는 IQ 0.4807로 심각한 품질 저하를 보이고, Scaffold-Early는 이후 세부 묘사에서 한계가 있으며, Static-Both는 회전/이동 오차가 증가하는 등 구조적 불안정성을 나타냅니다. 이러한 실험은 MoCam의 구조적 denoising dynamics가 기하-외관 간 충돌을 완화하고, 서로 다른 입력 모달리티에서 일반화 가능성을 갖음을 시사한다.

단계적 아키텍처: Latent video diffusion f_θ를 기반으로 z_t를 노이즈 수준과 conditioning c(t)에 따라 예측 학습한다. c(t)는 tswitch를 경계로 두 조건 c_ren(geometry scaffold)과 c_src(appearance source) 사이에 전환한다. 수식적 정의: c(t) = { c_ren if t > T_switch; c_src if t ≤ T_switch }. Scaffold 생성은 x_src의 깊이 d_src를 ViPE로 얻고, Φ^{-1}(x_src, d_src, K)로 동적 포인트 클라우드 p를 구성한 뒤 ψ_tgt에 따라 x_tgt_ren를 렌더한다. 이 scaffold는 초기 구조를 제공하나 disocclusion로 인한 구멍/왜곡이 있을 수 있으며, 후반 단계에서 c_src를 통해 이를 보정한다. VAE 인코더 E를 통해 x_tgt_ren과 x_src를 잠재 공간 z_tgt_ren, z_src로 인코딩하고, z0와 결합하여 z_tgt를 얻은 뒤 D로 디코딩한다. Tswitch은 0.85로 설정되며, 초기에는 geometry를 강하게 고정하고 나중에는 appearance를 보정한다. 학습은 Wan2.2 백본으로 수행되며, 20k 데이터 쌍(MultiCamVideo)을 이용한다. 깊이 추정의 불확실성에 따른 오차에 대해 stage-wise conditioning이 로버스트하게 작동한다.