VGG-T³: 대규모 오프라인 피드포워드 3D 재구성

기존 3D 복원 기술은 사진 장수가 늘어날수록 연산량이 기하급수적으로 증가해 대규모 장면 처리에 한계가 있었다. 이 논문은 복잡한 계산 과정을 고정된 크기의 인공신경망으로 압축하는 기술을 통해, 수천 장의 사진도 단 몇 분 만에 정밀하게 3D로 복원하고 위치까지 추정할 수 있는 효율적인 아키텍처를 제시했다.

Transformer 기반의 3D 복원 모델은 여러 장의 사진에서 특징(Token)을 추출한 뒤, Self-Attention을 통해 사진 간의 관계를 계산한다. 이때 모든 사진의 토큰이 서로를 참조하는 Softmax Attention 방식은 사진 수(N)의 제곱에 비례하는 연산량을 요구하므로, 관광지 전체처럼 수천 장의 사진이 필요한 대규모 장면에서는 메모리 부족과 속도 저하 문제가 발생한다. VGG-T³는 이 문제를 해결하기 위해 '기억 장소'의 개념을 바꾼다. 모든 토큰을 메모리에 쌓아두고 검색하는 대신, 장면의 특징을 작은 MLP(다층 퍼셉트론) 신경망의 가중치 안에 압축하여 저장한다. 이를 위해 테스트 시점에 짧은 학습(Test-Time Training)을 수행하여, 특정 장면의 기하학적 정보를 MLP가 완벽히 모사하도록 만든다. 결과적으로 정보를 찾을 때 모든 사진을 뒤질 필요 없이, 압축된 MLP에 질문(Query)을 던지기만 하면 된다. 이는 연산량을 제곱에서 선형으로 획기적으로 줄여주며, 한 대의 GPU에서도 수천 장의 이미지를 효율적으로 처리할 수 있게 한다.

전체 구조는 기존 VGGT 모델을 기반으로 하되, 모든 글로벌 어텐션 블록을 TTT 계층으로 교체했다. 입력 이미지는 토크나이저를 통해 시퀀스로 변환되며, 각 계층에서 Query(Q), Key(K), Value(V) 벡터로 투영된다. 핵심 메커니즘인 TTT Update 단계에서는 입력된 K와 V 사이의 매핑 관계를 학습하도록 MLP 가중치 θ를 최적화한다. [Key 벡터 입력 → MLP 연산 → 예측된 Value 출력 → 실제 Value와의 오차 계산 및 가중치 업데이트] 과정을 거쳐 장면 정보가 MLP에 저장된다. TTT Apply 단계에서는 최적화된 MLP를 사용하여 새로운 토큰을 생성한다. oi = Tθ(qi) 연산을 통해 현재 쿼리에 맞는 장면 정보를 추출한다. [Query 벡터 입력 → 고정된 MLP 연산 → 업데이트된 토큰 출력 → 다음 계층 전달] 순서로 진행되며, 이 과정은 이미지 수에 관계없이 일정한 연산 시간을 보장한다. 성능 유지를 위해 ShortConv2D를 도입했다. 1D 토큰 시퀀스를 다시 2D 이미지 그리드 형태로 재구성한 뒤 3x3 합성곱 연산을 수행하여 주변 픽셀 간의 공간적 관계를 학습에 반영한다. [1D 토큰 → 2D 리셰이프 → 3x3 Conv 연산 → 1D 플래픈] 과정을 통해 단순 선형 매핑의 한계를 극복했다.

7scenes, DTU, ETH3D 등 주요 벤치마크에서 기존 선형 모델인 TTT3R 대비 Chamfer Distance(CD) 오차를 2~2.5배 이상 줄이며 우수한 성능을 기록했다. 특히 DTU 데이터셋에서는 연산량이 훨씬 많은 O(N²) 기반 모델들과 대등하거나 오히려 우수한 복원 품질을 보여주었다. 대규모 데이터셋 실험에서 1,000장의 이미지를 복원하는 데 단 54초가 소요되어, 기존 VGGT(약 11분) 대비 11.6배의 속도 향상을 달성했다. 2,000장 규모의 데이터셋에서는 분산 추론을 통해 48.5초 만에 처리를 완료하며 뛰어난 확장성을 입증했다. Visual Localization 성능 평가에서도 TTT3R 대비 회전 오차와 평행 이동 오차를 크게 줄였다. 특히 Wayspots 데이터셋에서 기존 모델이 74.45도의 회전 오차를 보인 반면, 본 모델은 32.04도로 정확도를 대폭 개선하며 실제 환경에서의 활용 가능성을 보여주었다.

VGG-T³는 VGGT의 사전 학습된 가중치를 활용하여 선형화(Linearization)를 수행한다. Softmax Attention의 O(N²) 병목을 제거하기 위해, 각 어텐션 헤드 내부의 KV 공간을 SwiGLU MLP 구조로 대체하고 이를 'Fast Weights'로 취급하여 테스트 시점에 최적화한다. 학습 효율을 위해 Muon 옵티마이저를 사용하며, 5회의 Newton-Schulz 반복을 통해 MLP 가중치를 빠르게 수렴시킨다. 또한 LayerNorm 대신 L2 정규화를 적용하여 사전 학습된 가중치로부터의 빠른 전이 학습을 유도했다. 분산 추론 환경에서 데이터 병렬 처리(DDP)를 지원한다. 각 GPU가 이미지 토큰의 하위 집합(Shard)을 처리하고, MLP 가중치 업데이트 시에만 All-to-All 통신을 수행하여 통신 오버헤드를 최소화하면서도 전체 장면 정보를 통합한다. Visual Localization 시에는 학습된 MLP 가중치를 고정(Freeze)하고, 새로운 쿼리 이미지를 입력하여 장면 표현으로부터 위치 정보를 추출하는 단일 패스 추론 방식을 채택했다.

선형 시간 어텐션 메커니즘이 아직 모든 케이스에서 Softmax Attention의 정밀도를 완벽히 대체하지는 못한다. 특히 장면의 구조가 매우 복잡하거나 시야각이 넓은(Wide-baseline) 설정에서는 복원 품질의 저하가 관찰되며, 이는 고정된 크기의 MLP가 갖는 표현력의 한계로 분석된다.