UniGeo: 비디오 모델을 통한 카메라 제어 가능 이미지 편집을 위한 기하학적 가이드 통합

기존의 카메라 제어 이미지 편집 방식은 단일 이미지 기반 확산 모델을 사용하여 연속적인 카메라 움직임에서 화면이 깨지거나 구조가 왜곡되는 문제가 있었다. 이 논문은 비디오 생성 모델의 연속적인 시점 정보를 활용하고 기하학적 가이드를 모델 전체 구조에 통합하여, 복잡한 카메라 이동 중에도 사물의 구조를 완벽하게 유지하는 기술을 제시한다.

기존의 이미지 편집은 주로 Self-Attention을 통해 이미지 내부의 픽셀 관계를 조정하지만, 카메라가 움직이는 상황에서는 각 시점마다 사물의 위치와 형태가 달라져야 하므로 단순한 픽셀 관계만으로는 한계가 있다. 특히 이미지 확산 모델은 불연속적인 시점 매핑에 의존하기 때문에 연속적인 카메라 궤적을 따라갈 때 구조가 무너지는 '기하학적 드리프트' 현상이 발생한다.

UniGeo는 비디오 생성 모델이 본래 가지고 있는 시간적/공간적 연속성(Temporal Continuity)을 활용한다. 여기에 3D 포인트 클라우드라는 명시적인 기하학적 지도를 모델에 주입한다. 단순히 데이터를 넣는 것에 그치지 않고, 첫 번째 프레임을 '기준점(Anchor)'으로 삼아 모든 생성 프레임이 이 기준점의 구조적 특징을 따르도록 Attention 연산 과정에서 정렬을 수행한다.

결과적으로 모델은 단순한 이미지 생성을 넘어, 3D 공간 상에서 카메라가 어떻게 움직이는지 이해하게 된다. RE10K 데이터셋 실험에서 LPIPS 수치가 0.3008에서 0.2377로 낮아지는 등, 시각적 품질과 기하학적 정확도가 동시에 향상되는 결과를 얻었다.

UniGeo는 세 단계의 모듈로 구성된다. 첫 번째는 Frame-Decoupled Point Cloud Injection이다. 입력 이미지 I0를 3D로 재구성하여 포인트 클라우드 P0를 생성하고, 이를 카메라 궤적 C에 따라 렌더링하여 참조 시퀀스 Rf를 얻는다. [이미지 및 궤적 → 3D 재구성 및 렌더링 → 렌더링 시퀀스 생성 → 기하학적 사전 정보 확보]

두 번째는 Geometric Anchor Attention(GAA)이다. 비디오 시퀀스의 첫 프레임 특징 X0를 Key(K0)와 Value(V0)로 고정하고, 이후 프레임 i의 Query(Qi')와 연산한다. softmax((Qi' * K0^T) / sqrt(d)) * V0 과정을 통해 모든 프레임이 첫 프레임의 구조적 가이드를 따르도록 특징을 정렬한다. [현재 프레임 쿼리 + 첫 프레임 키/값 → 어텐션 연산 → 정렬된 특징 출력 → 시점 간 일관성 유지]

세 번째는 Trajectory-Endpoint Geometric Supervision(TEGS)이다. 손실 함수 계산 시 프레임 인덱스 i에 대해 2차 함수 형태의 가중치 w_loss(i)를 적용한다. [프레임 위치 입력 → 2차 함수 연산 → 가중치 결정 → 최종 목적지 시점의 학습 강도 강화] 이를 통해 카메라 이동의 최종 목적지에서 발생할 수 있는 구조적 왜곡을 방지한다.

RealEstate10K(RE10K), Tanks and Temples, DL3DV 등 주요 벤치마크에서 기존 SOTA 모델인 FlexWorld, ViewCrafter 등을 압도했다. 광범위한 카메라 움직임(Extensive motion) 조건의 RE10K 데이터셋에서 LPIPS 0.2377, PSNR 14.9723을 기록하며 가장 우수한 성능을 보였다.

Ablation Study 결과, 제안된 세 가지 핵심 모듈(FDPCI, GAA, TEGS) 중 하나라도 제거할 경우 성능이 유의미하게 하락했다. 특히 FDPCI를 제거했을 때 LPIPS가 약 0.02 상승하고 SSIM이 0.06 하락하는 등 기하학적 가이드의 직접적인 주입이 품질 유지에 결정적인 역할을 함이 증명됐다.

UniGeo는 Wan2.2-TI2V-5B 비디오 생성 모델을 기반으로 하며, Rank 256의 LoRA 파인튜닝을 적용했다. 포인트 클라우드 생성 및 카메라 궤적 추정에는 VGGT 모델을 사용한다. 아키텍처 측면에서 DiT(Diffusion Transformer) 블록 내부에 GAA 모듈을 추가하여 Self-Attention과 병렬로 연산하며, 가중치 파라미터 alpha를 통해 기하학적 가이드의 영향력을 조절한다. 학습 시에는 704x1248 해상도에서 29프레임 길이를 사용하며, 마지막 4프레임을 최종 목적지 시점의 고정 모델링을 위해 할당하는 전략을 취했다.

매우 복잡한 장면이나 극단적으로 큰 시점 변화가 있는 경우, 생성된 기하학적 참조 정보 자체가 부정확해져 결과물의 정확도가 떨어질 수 있다. 또한 비디오 모델 기반이므로 단일 이미지 확산 모델 대비 추론 시간이 다소 길다는 한계가 있다.