Free Geometry: 자기 자신의 긴 버전을 통한 3D 재구성 정밀화

기존의 3D 재구성 모델은 학습된 후 새로운 환경에 적응하지 못하는 한계가 있었으나, 이 논문은 별도의 정답 데이터 없이도 테스트 시점에 모델 스스로 성능을 개선하는 방법을 제시한다. 더 많은 시점을 볼수록 정확도가 높아지는 특성을 활용해 단 2분 만에 카메라 포즈 정확도를 3.73% 향상시켰다.

기존의 Transformer 기반 3D 재구성 모델은 학습 데이터의 분포를 벗어난 새로운 장면에서 가려짐(Occlusion)이나 반사광 등으로 인해 기하학적 오류를 범하기 쉽다. 이는 모델이 고정된 파라미터로만 추론을 수행하는 'Train-then-Freeze' 패러다임의 한계에서 기인한다.

이 논문은 모델이 더 많은 입력 프레임을 볼수록 내부의 Attention Mechanism이 더 풍부한 대응 관계를 집계하여 결과물이 정교해진다는 점에 주목한다. 즉, 8개의 프레임을 본 모델의 특징(Feature)이 4개의 프레임만 본 모델의 특징보다 더 정확한 '정답'에 가깝다는 논리이다. 이를 활용해 전체 프레임을 입력받은 동결된 모델을 교사(Teacher)로, 일부가 마스킹된 프레임을 입력받은 모델을 학생(Student)으로 설정하여 지식을 전수한다.

결과적으로 모델은 별도의 외부 레이블 없이도 현재 보고 있는 장면에 최적화된 특징 표현을 스스로 학습하게 된다. 이는 마치 시험 문제를 풀 때 더 많은 힌트를 가진 상태의 판단을 기준으로 힌트가 적을 때의 판단을 교정해 나가는 과정과 유사하며, 이를 통해 미처 보지 못한 부분의 기하학적 구조까지 더 정확하게 예측할 수 있게 된다.

Free Geometry는 테스트 시퀀스에서 프레임의 일부를 마스킹하여 자기 지도 학습 태스크를 구성한다. 전체 프레임(Full Observation)은 동결된 백본을 통과하여 교사 특징을 생성하고, 마스킹된 프레임(Partial Observation)은 LoRA가 삽입된 동일한 백본을 통과하여 학생 특징을 생성한다.

핵심 메커니즘은 두 가지 손실 함수의 결합이다. 첫째, Intra-frame Consistency Loss는 동일한 위치의 토큰 특징을 정렬한다. [교사 특징 f_full과 학생 특징 f_partial이 입력되면] → [Huber Loss와 코사인 유사도 기반의 방향성 정렬 연산을 수행하여] → [두 특징 사이의 거리와 각도 차이를 줄이는 값을 얻고] → [이를 통해 학생 모델이 교사의 국소적 기하학 정보를 모방하게 한다].

둘째, Cross-frame Relational Loss는 마스킹되어 보이지 않는 프레임과의 관계를 보존한다. [서로 다른 프레임의 토큰 p, q와 마스킹된 프레임의 앵커 토큰 k를 입력으로] → [특징 공간에서 형성되는 가상 삼각형의 각도 Φ와 KL Divergence를 계산하여] → [구조적 관계의 왜곡 정도를 수치화하고] → [이 값을 최소화함으로써 가려진 영역에 대한 상대적 기하학 구조를 유지한다]. 학습은 AdamW 옵티마이저를 사용하여 LoRA 가중치와 카메라 토큰만을 업데이트하는 방식으로 진행된다.

Depth Anything 3(DA3)와 VGGT 모델을 대상으로 ETH3D, ScanNet++, 7Scenes, HiRoom 4개 벤치마크에서 실험을 진행했다. 카메라 포즈 정확도(AUC@3)에서 평균 3.73%, 포인트 맵 예측(F1-score)에서 평균 2.88%의 향상을 기록했다.

특히 데이터가 부족한 저관측 상황(N=4)에서 효과가 두드러졌다. ETH3D 데이터셋에서 VGGT 모델의 AUC@3 성능을 0.157에서 0.178로, DA3 모델은 0.286에서 0.305로 끌어올렸다. 또한 8개 뷰로 학습된 모델이 4, 16, 32개 등 다양한 입력 뷰 수에서도 일관된 성능 향상을 보여 범용적인 일반화 능력을 입증했다.

Ablation Study 결과, Relational Loss를 제거했을 때 F1 스코어가 0.2475에서 0.2190으로 크게 하락하여, 마스킹된 프레임과의 관계를 학습하는 것이 기하학적 정확도 유지에 필수적임을 확인했다. 전체 최적화 과정은 단일 RTX Pro 6000 GPU에서 약 2분 내외로 완료되어 실용성을 확보했다.

Free Geometry는 피드포워드 모델의 인코더 특징이 테스트 장면 적응의 병목 지점이라는 가설을 세우고, 디코더 출력단이 아닌 인코더 특징 레벨에서 비대칭적 자기 증류(Asymmetric Feature-level Self-distillation)를 수행한다. 이는 디코더가 프레임별로 독립적으로 작동하는 구조적 특성을 고려한 설계이다.

아키텍처적으로는 DINOv2 기반의 이미지 패치 인코더와 Multi-view Transformer 백본을 공유하며, 학생 브랜치에만 LoRA 어댑터를 삽입한다. 특징 공간의 위상 구조를 보존하기 위해 Relational Knowledge Distillation(RKD)에서 영감을 얻은 트리플렛(Triplet) 기반 손실 함수를 사용한다. 이때 앵커 토큰을 선택할 때 코사인 유사도가 가장 높거나 낮은 극단적인 샘플을 선택하는 'Mixed Selection' 전략을 사용하여 기하학적 컨텍스트 정보를 극대화한다.

학습 시에는 8개 프레임 중 짝수 인덱스 프레임만 학생 모델에 노출시키는 마스킹 전략을 사용하여 일관된 참조 프레임을 유지한다. 이러한 방식은 모델이 특정 뷰 구성에 오버피팅되는 것을 방지하고, 다양한 뷰 개수(4~100개)에 대해 견고한 일반화 성능을 유지하게 한다.

논문은 테스트 타임 적응 과정에서 추가적인 계산 비용(GPU 시간 약 2분)이 발생한다는 점을 언급하며, 실시간성이 극도로 중요한 환경에서는 제약이 될 수 있음을 시사한다. 또한 동결된 교사 모델의 예측이 근본적으로 매우 낮은 품질일 경우 자가 교정의 효과가 제한될 수 있다.