WorldStereo: 3D 기하학적 메모리를 통한 카메라 가이드 비디오 생성과 장면 복원의 연결

기존 비디오 생성 모델은 카메라 경로가 바뀌면 장면의 일관성이 깨져 정밀한 3D 복원이 어려웠으나, 이 논문은 기하학적 메모리를 도입해 여러 각도에서도 물리적으로 일관된 영상을 생성하며 고화질 3D 장면 복원을 가능하게 한다. 특히 추론 속도를 20배 가속화하여 실무 활용도를 높였다.

기존 Video Diffusion Model은 단일 경로 비디오 생성에는 뛰어나지만, 여러 카메라 궤적을 따라 일관된 장면을 유지하는 데 한계가 있다. 이는 모델이 과거에 생성한 기하학적 구조를 기억하지 못해 발생하는 'Memoryless' 문제로, 3D 복원 시 형체가 뭉개지거나 위치가 어긋나는 원인이 된다.

WorldStereo는 이를 해결하기 위해 점구름(Point Cloud)을 활용한 두 가지 메모리 계층을 제안한다. GGM은 전체적인 뼈대를 잡는 역할을 하며, 생성된 비디오에서 추출한 점구름을 점진적으로 업데이트하여 전역적인 구조를 유지한다. SSM은 스테레오 매칭 원리를 이용해 현재 생성 중인 프레임과 메모리 뱅크의 참조 프레임 간의 3D 대응 관계를 Attention 메커니즘에 직접 주입하여 세부 묘사의 일관성을 강제한다.

결과적으로 모델은 단순히 비디오를 만드는 수준을 넘어, 물리적으로 일관된 3D 세계를 이해하는 'World Model'처럼 동작한다. 4단계의 짧은 추론만으로도 기존 SOTA 모델보다 정확한 카메라 제어와 고해상도 3D 복원 성능을 보여준다.

Uni3C를 기반으로 하며, ControlNet 브랜치를 통해 픽셀 단위로 정렬된 조건을 주입한다. GGM(Global-Geometric Memory)은 카메라 포즈와 깊이 맵을 입력으로 → 역투영(Back-projection) 연산을 수행해 → 3D 공간의 점구름 좌표를 얻고 → 이는 모델이 생성할 장면의 전역적인 기하학적 가이드라인이 된다. 이 점구름은 Umeyama 변환을 통해 정렬되고 점진적으로 통합되어 전역 구조를 관리한다.

SSM(Spatial-Stereo Memory)은 메모리 뱅크에서 시각적으로 유사한 참조 뷰를 검색한 뒤, 타겟 뷰와 참조 뷰를 가로로 이어 붙인(Horizontal Stitching) 형태의 입력을 처리한다. 여기에 3D 대응 정보를 담은 Pointmap을 추가하여 Attention Receptive Field가 특정 참조-타겟 쌍에만 집중하도록 제한함으로써 세부 일관성을 높인다.

추론 가속을 위해 DMD(Distribution Matching Distillation)를 적용한다. 고정된 실제 점수 함수(s_real)와 학습 가능한 가짜 점수 함수(s_fake) 간의 차이를 입력으로 → KL Divergence 기반의 업데이트 그래디언트를 계산하여 → 가중치를 최적화하고 → 4단계의 짧은 추론만으로 고품질 영상을 생성한다. 이는 Classifier-Free Guidance(CFG) 없이도 2배의 효율을 제공한다.

WorldScore 데이터셋 기반 OOD 벤치마크에서 WorldStereo는 Uni3C, Voyager 등 기존 모델 대비 낮은 회전 오차(RotErr)와 평행 이동 오차(TransErr)를 기록하며 정밀한 카메라 제어 능력을 입증했다. 특히 DMD 적용 버전은 추론 시간을 173초에서 9초로 대폭 단축하면서도 높은 시각적 품질을 유지했다.

Tanks-and-Temples 및 MipNeRF360 데이터셋을 활용한 3D 복원 실험에서 Full 모델은 F1-Score 0.578(Tanks&Temples)과 0.406(MipNeRF360)을 달성하여 기존 SOTA 모델들을 압도했다. 이는 메모리 메커니즘이 다중 경로 간의 기하학적 충돌을 효과적으로 억제했음을 의미한다.

아키텍처는 Wan2.1-14B I2V를 백본으로 하며, 두 개의 ControlNet 브랜치(Camera & Stereo-Memory)를 병렬로 운영한다. GGM은 점구름 마스킹 전략을 통해 부분적인 기하학적 정보 손실에도 견고하게 학습되었다. SSM의 핵심은 20레이어의 DiT 블록으로 구성된 별도 브랜치다. 타겟과 참조 프레임의 Latent를 결합하고 3D 좌표 정보를 포함한 Pointmap을 더해 기하학적 인식을 강화한다. Attention 연산 시 H*2W 차원을 따라 연산 범위를 제한하여 계산 효율과 정밀도를 동시에 잡았다. DMD 학습 시에는 GAN 손실을 제외하고 확률 분포 매칭에 집중하여 학습 안정성을 높였다. 데이터 큐레이션 과정에서 참조-타겟 쌍의 시간적 겹침(Overlap)을 30~90%로 설정하여 실제 환경의 무질서한 검색 시나리오를 모사했다.