UniRecGen: 다중 뷰 3D 복원과 생성의 통합

3D 모델링에서 정확한 복원과 풍부한 생성은 서로 상충하는 목표였다. 이 논문은 두 기술을 유기적으로 결합하여, 적은 수의 사진만으로도 실제와 똑같으면서도 보이지 않는 부분까지 완벽하게 채워진 고품질 3D 모델을 생성하는 새로운 표준을 제시한다.

기존 3D 복원은 입력 이미지의 픽셀 정보를 3D 공간으로 투영하는 방식에 의존한다. 하지만 카메라 각도가 제한적인 희소 뷰 상황에서는 보이지 않는 영역의 기하학적 구조가 누락되거나 전역적인 구조적 일관성이 깨지는 한계가 있다.

확산 모델 기반의 생성 방식은 풍부한 디테일을 만들어내지만, 입력된 실제 이미지의 세부 특징을 무시하고 환각을 일으키는 경우가 많다. UniRecGen은 복원 모델이 만든 기하학적 닻을 확산 모델의 가이드로 사용하여 이 문제를 해결한다.

구체적으로 복원 모듈이 먼저 눈에 보이는 영역을 바탕으로 대략적인 3D 점구름을 생성하면, 확산 모델은 이 점구름을 뼈대 삼아 보이지 않는 부분을 추론하고 표면의 질감을 정교하게 입힌다. 이를 통해 실제 데이터에 기반한 정확성과 생성 모델의 높은 품질을 모두 확보했다.

전체 아키텍처는 복원과 생성의 2단계 모듈형 파이프라인으로 구성된다. VGGT를 기반으로 한 복원 모듈은 입력 이미지에서 특징을 추출하여 정준 좌표계상의 점구름을 생성한다. 브랜치 전용화 전략을 통해 복원 모델의 출력 공간을 생성 모델의 공간과 일치시키며, 유사도 정렬을 통해 깊이 맵 정보를 정밀하게 보정한다.

T = argmin ∑ w_j ||P_can - T(D_ref)||² 식은 [복원된 정준 점구름 P_can과 카메라 좌표계의 깊이 점구름 D_ref를 입력으로] → [두 점군 사이의 거리를 최소화하는 회전, 이동, 스케일 변환 T를 계산하여] → [최적의 정렬 행렬을 얻고] → [이를 통해 서로 다른 좌표계를 하나의 공통 공간으로 일치시킨다.]

생성 단계에서는 Hunyuan3D-Omni를 백엔드로 사용하며, 잠재 증강 뷰 조건화를 적용한다. F_MV = F_D + MLP_view(F_V) + MLP_cam(t_cam) 식은 [DINO 이미지 특징 F_D와 VGGT 잠재 토큰 F_V, 카메라 토큰 t_cam을 입력으로] → [각 특징을 학습 가능한 MLP 레이어를 통해 투영하고 합산하여] → [기하학적 정보가 증강된 특징 벡터 F_MV를 얻고] → [이를 통해 확산 모델이 각 뷰의 공간적 맥락을 정확히 파악하도록 돕는다.]

Toys4K 및 GSO 데이터셋에서 Chamfer-L2 거리, F-Score, Normal Consistency 등 모든 기하학적 지표에서 기존 SOTA 모델인 TRELLIS와 ReconViaGen을 능가했다. 특히 Toys4K 데이터셋에서 Chamfer-L2 0.0175를 기록하며 대조군 대비 약 37% 이상의 성능 향상을 보였다.

카메라 포즈 추정 성능에서도 VGGT 베이스라인 대비 ATE를 GSO 기준 0.0799에서 0.0151로 대폭 낮추어, 정준 공간 정렬의 효과를 입증했다. 이는 복원된 기하학적 앵커가 생성 모델의 멀티 뷰 일관성을 유지하는 데 결정적인 역할을 함을 시사한다.

UniRecGen은 결정론적 회귀와 확률적 노이즈 제거라는 서로 다른 학습 역학을 분리하여 처리한다. 복원 모듈을 먼저 학습시켜 안정적인 기하학적 기반을 마련한 후, 생성 모델을 조건부 리파이너로 학습시켜 학습 효율성을 극대화했다.

좌표계 불일치 문제를 해결하기 위해 Sim(3) 변환을 활용한 가중 프로크루스테스 분석을 도입했다. 이는 카메라 중심의 깊이 예측값을 객체 중심의 정준 공간으로 정렬하는 핵심 기전이며, regressing a global pose 방식보다 강력한 공간적 정렬 신호를 제공한다.

확산 모델의 조건화 방식에서 단순한 포인트 샘플링 대신 DINO 토큰에 기하학적 임베딩을 더하는 방식을 채택했다. 이는 이미지의 풍부한 시맨틱 정보와 복원된 구조 정보를 동시에 보존하여 멀티 뷰 일관성을 유지하는 데 기여하며, 최종적으로 Marching Cubes 알고리즘을 통해 고해상도 메쉬를 추출한다.

장면 수준의 생성으로의 확장성과 텍스처 합성 기능의 통합이 향후 과제로 남아 있다.