멀티뷰 확산 모델을 위한 기하학적 파운데이션 모델의 재구성

기존의 멀티뷰 이미지 생성 모델은 기하학적 구조를 무시하는 일반적인 이미지 압축 공간(VAE)을 사용해 시점 간의 일관성이 떨어지는 문제가 있었다. 이 논문은 기하학적 정보가 이미 내포된 모델의 특징 공간을 생성 공간으로 활용함으로써, 별도의 추가 정보 없이도 정교하고 일관된 3D 장면 생성을 가능하게 하며 학습 효율을 획기적으로 높였다.

기존 Latent Diffusion Model은 VAE(Variational Autoencoder)를 통해 이미지를 압축된 잠재 공간으로 변환한 뒤 학습한다. 하지만 VAE는 개별 이미지의 픽셀 재구성에만 집중할 뿐, 여러 장의 이미지 사이의 공간적 연결 고리나 기하학적 구조를 이해하지 못한다. 이로 인해 여러 각도에서 본 장면을 생성할 때 각 이미지의 내용이 서로 어긋나는 기하학적 불일치 문제가 발생한다.

본 논문은 이미 수많은 이미지로부터 3D 구조를 파악하도록 학습된 '기하학적 파운데이션 모델(Geometric Foundation Model)'에 주목한다. 이 모델들의 내부 특징 공간(Feature Space)에는 이미 시점 간의 대응 관계와 깊이 정보가 임베딩되어 있다. GLD는 이 특징 공간을 확산 모델의 작업 공간으로 삼아, 모델이 처음부터 기하학적 규칙을 준수하며 데이터를 생성하도록 유도한다.

결과적으로 확산 모델은 복잡한 3D 일관성을 밑바닥부터 배울 필요 없이, 이미 잘 닦여진 기하학적 지도 위에서 이미지를 생성하게 된다. 이는 학습 속도를 4.4배 이상 가속화할 뿐만 아니라, 생성된 결과물에서 깊이 정보를 직접 추출할 수 있게 하여 2D 이미지 생성과 3D 구조 복원을 동시에 달성한다.

전체 파이프라인은 기하학적 특징 추출, 멀티뷰 확산 합성, 그리고 RGB 디코딩의 3단계로 구성된다. Depth Anything 3(DA3)를 백본으로 사용하여 4개 레벨의 특징을 추출하며, 이 중 기하학적 대응점과 시각적 세부 사항이 가장 잘 균형 잡힌 Level 1을 합성 경계(Boundary Layer)로 설정한다.

확산 모델은 DiT(Diffusion Transformer) 아키텍처를 기반으로 하며, Flow-matching 목적 함수를 통해 학습된다. [노이즈가 섞인 잠재 특징 z_t와 소스 이미지 특징 F_src를 입력으로] → [3D Self-Attention 연산을 수행하여 시점 간 관계를 계산하고] → [속도 필드 u_t,l를 예측하여] → [노이즈가 제거된 결합 특징 F_l을 생성한다].

연산 효율을 위해 모든 레벨의 특징을 직접 생성하지 않고 Cascaded 구조를 채택한다. Level 1 특징이 생성되면, 이를 조건으로 Level 0(가장 얕은 층)을 합성하고, Level 2와 3(깊은 층)은 고정된 인코더 레이어를 통해 전파(Propagation)시켜 얻는다. 최종적으로 학습된 ViT 기반 RGB 디코더가 이 다층 특징들을 통합하여 고해상도 이미지를 복원한다.

Re10K 및 DL3DV 데이터셋에서 VAE 및 DINOv2 잠재 공간을 사용한 모델 대비 압도적인 성능을 보였다. Re10K 기준 PSNR 16.362, SSIM 0.630을 기록하며 기존 VAE 기반 모델(PSNR 15.656)을 능가했다. 특히 3D 일관성 지표인 ATE(Absolute Trajectory Error)에서 0.211을 기록해 VAE(0.278) 대비 정밀한 기하학적 정확도를 입증했다.

학습 효율성 측면에서 GLD는 VAE 잠재 공간 대비 4.4배 빠른 수렴 속도를 보였다. 대규모 텍스트-이미지(T2I) 사전 학습 모델을 파인튜닝한 SOTA 모델들과 비교했을 때도, GLD는 상대적으로 작은 데이터셋에서 처음부터(From scratch) 학습되었음에도 불구하고 대등하거나 더 우수한 3D 일관성을 달성했다.

Ablation Study를 통해 Level 1을 경계 레이어로 선택했을 때 기하학적 대응점(PCK) 점수가 가장 높았으며, 독립적인 생성보다 Cascaded 방식이 2D 및 3D 메트릭 모두에서 더 나은 정렬 성능을 보임을 확인했다.

GLD는 기존의 뷰 독립적인(View-independent) VAE 잠재 공간 대신, 3D Attention을 통해 시점 간 대응 관계가 인코딩된 기하학적 파운데이션 모델의 특징 공간을 활용한다. 이는 확산 모델이 기하학적 제약 조건을 암시적으로 학습해야 하는 부담을 획기적으로 줄여준다.

아키텍처는 Condition Encoder와 Velocity Decoder로 분리된 DiTDH 구조를 따른다. 카메라 포즈는 Plücker ray embedding으로 변환되어 입력되며, PRoPE(Positional Encoding)를 통해 3D 공간 정보를 주입한다. [카메라 파라미터와 소스 뷰 특징을 입력으로] → [Linear 레이어 투영 및 AdaLN 변조를 거쳐] → [시점 간 상호작용이 포함된 잠재 벡터를 출력한다].

특징 합성의 효율성을 위해 'Boundary Layer' 개념을 도입했다. 얕은 층(Level 0, 1)은 시각적 세부 사항을, 깊은 층(Level 2, 3)은 추상적인 기하 구조를 담당하는데, 실험 결과 Level 1까지만 명시적으로 생성하고 나머지는 전파하는 방식이 성능과 비용의 최적점을 제공함을 수학적으로 분석했다.

RGB 디코더는 ViT-XL 구조를 채택하여 12개의 트랜스포머 레이어로 구성되며, 학습 시 Level-wise dropout 전략을 사용하여 일부 특징 레벨이 누락되어도 강건하게 이미지를 복원할 수 있도록 설계되었다.

심한 가려짐(Occlusion)이 발생하거나 소스 뷰의 공간적 커버리지가 매우 희소한 경우, 모델이 존재하지 않는 내용을 환각(Hallucination)하거나 아티팩트를 생성할 수 있다. 또한 극단적인 조명 변화나 소스-타겟 뷰 사이의 큰 시간적 간격이 있는 경우 신뢰할 수 있는 기하학적 대응 관계를 형성하는 데 어려움이 있다.