2Xplat: 두 명의 전문가가 하나의 범용 모델보다 낫다

기존의 3D 모델링 기술은 카메라의 정확한 위치 정보가 필수적이거나, 이를 추정하는 과정에서 화질이 저하되는 문제가 있었습니다. 이 논문은 기하학 전문가와 외형 전문가를 분리하는 설계를 통해, 카메라 정보가 없는 상황에서도 단 5,000번의 학습만으로 전문가 수준의 고화질 3D 장면을 복원해냅니다.

3D Gaussian Splatting(3DGS)은 수많은 타원체(Gaussian)를 공간에 배치해 장면을 표현하는데, 기존의 'Pose-free' 방식은 카메라 위치(Pose)와 가우시안의 속성(색상, 모양 등)을 하나의 거대한 신경망이 동시에 학습하도록 설계되었다. 하지만 기하학적 구조를 파악하는 일과 복잡한 질감을 표현하는 일은 서로 다른 최적화 목표를 가지기 때문에, 하나의 모델이 두 가지를 모두 잘하기는 매우 어렵다.

2Xplat은 이 문제를 '분업'으로 해결한다. 먼저 기하학 전문가(Geometry Expert)가 입력 이미지들 사이의 관계를 분석해 카메라가 어디에 있는지 계산한다. 그 다음, 이 위치 정보를 외형 전문가(Appearance Expert)에게 전달한다. 외형 전문가는 이미 카메라 위치를 알고 있는 상태에서 가우시안을 생성하므로, 기하학적 모호함에 에너지를 낭비하지 않고 고해상도 질감 구현에만 집중할 수 있다.

결과적으로 이 방식은 학습 속도를 획기적으로 높인다. 처음부터 모든 것을 배우는 대신, 이미 각 분야에서 숙련된 두 모델을 연결해 미세 조정(Fine-tuning)만 하면 되기 때문이다. 이는 복잡한 3D 복원 작업을 더 빠르고 정확하게 수행할 수 있게 하며, 실제 환경에서 카메라 설정 없이 찍은 사진만으로도 고품질 3D 모델을 만들 수 있는 길을 열어준다.

전체 시스템은 Geometry Expert인 Depth Anything 3(DA3)와 Appearance Expert인 Multi-view Pyramid Transformer(MVP)를 순차적으로 연결한 구조이다. 입력 이미지 집합 {Ii}가 주어지면, Geometry Expert Fpose가 모든 뷰의 카메라 파라미터 pi를 먼저 예측한다.

예측된 카메라 파라미터 pi와 컨텍스트 이미지들은 Appearance Expert F3dgs의 입력으로 들어간다. 여기서 [입력 이미지와 포즈 정보 → PRoPE 기반 포즈 조건부 연산 → 픽셀 정렬된 3D 가우시안 속성 Gj 생성] 과정을 거친다. 생성된 가우시안들은 미분 가능한 렌더러를 통해 타겟 뷰로 투영된다.

학습은 End-to-end 방식으로 진행되며, 렌더링 손실(Lrender)과 카메라 포즈 손실(Lcam)을 결합한 통합 목적 함수를 최소화한다. 렌더링 손실은 [예측 이미지와 실제 이미지 → L2 및 Perceptual Loss 계산 → 화질 차이 수치화] 과정을 통해 계산되며, 카메라 손실은 상대적 회전 및 이동 오차를 Huber Loss로 측정하여 기하학적 일관성을 강제한다.

DL3DV 데이터셋 실험 결과, 6개/12개/24개 입력 뷰 시나리오 모두에서 기존 Pose-free 모델인 YoNoSplat, NoPoSplat을 크게 앞질렀다. 특히 12개 뷰 기준 PSNR 26.971을 기록하여 YoNoSplat(23.149) 대비 약 3.8dB 이상의 성능 향상을 보였다.

고해상도(960x540) 환경에서도 2Xplat은 강력한 성능을 유지했다. 포즈 정보가 주어지지 않았음에도 불구하고, 포즈 정보를 사용하는 SOTA 모델인 MVP와 대등하거나(Ours 28.30 vs MVP 29.02) 일부 지표에서 우수한 결과를 나타냈다.

학습 효율성 측면에서 압도적인 우위를 점했다. YoNoSplat이 16개의 GH200 GPU로 15만 번의 반복 학습이 필요한 반면, 2Xplat은 단 8개의 H200 GPU로 5,000번 미만의 학습만으로 수렴했다. 이는 모듈화된 설계가 학습 안정성과 속도를 획기적으로 개선했음을 입증한다.

2Xplat은 Monolithic 아키텍처의 한계를 극복하기 위해 Decoupled Two-Expert 구조를 채택했다. Geometry Expert는 대규모 데이터로 사전 학습된 DA3-Giant 모델을 활용하여 강건한 초기 포즈를 제공하며, Appearance Expert는 MVP 아키텍처를 사용하여 고해상도 가우시안 속성을 회귀한다.

핵심 메커니즘은 명시적인 Pose Conditioning이다. 예측된 포즈를 MVP의 PRoPE(Positional Relative Pose Encoding) 레이어에 직접 주입함으로써, 네트워크가 에피폴라 기하학적 제약 조건을 학습 과정에서 명확히 인지하도록 유도한다. 이는 공유 특징(Shared Features)을 사용하는 기존 방식보다 표현 용량(Representational Capacity)을 효율적으로 사용하게 한다.

학습 시 Relative Pose Loss를 도입하여 Global Reference Frame의 모호성을 해결했다. 예측된 상대 회전 행렬 Ri-j와 실제 행렬 간의 Trace 연산을 통해 각도 오차를 계산하고, 이를 역전파하여 Geometry Expert가 Appearance Expert의 요구에 맞게 포즈 추정치를 미세 조정하도록 만든다.

구현 측면에서, 사전 학습된 가중치를 동결하지 않고 전체 파이프라인을 Jointly Fine-tuning함으로써 포즈 추정의 노이즈에 대한 Appearance Expert의 강건성(Robustness)을 확보했다. 이는 추정된 포즈에 미세한 오차가 있더라도 시각적으로 최적화된 가우시안을 생성할 수 있게 하는 핵심 요인이다.

카메라 포즈 감독(Supervision)이 주로 정규화 신호로 사용되기 때문에, 포즈 추정 자체의 정확도는 포즈 예측만을 위해 설계된 전용 모델들보다 약간 낮을 수 있습니다. 또한 매우 적은 수의 입력 뷰 환경에서는 기하학적 모호성으로 인해 성능 저하가 발생할 가능성이 있습니다.