스트리밍 3D 재구성을 위한 Geometric Context Transformer

기존 3D 재구성 모델들은 영상 전체를 한꺼번에 처리해야 하거나, 실시간 처리 시 과거 정보를 잊어버려 위치 추정 오차가 누적되는 한계가 있었다. 이 논문은 인간의 공간 기억 방식을 모방한 새로운 Attention 구조를 통해 매우 긴 영상에서도 메모리 사용량을 일정하게 유지하면서 정확한 3D 지도를 실시간으로 생성한다.

기존 Transformer 기반 3D 재구성 방식은 모든 프레임 간의 관계를 계산하는 Self-Attention을 사용하므로 영상이 길어질수록 연산량이 시퀀스 길이의 제곱에 비례해 증가한다. 이는 실시간 스트리밍 환경에서 메모리 부족과 속도 저하를 야기하며, 이를 피하기 위해 최근 정보만 보는 Sliding Window 방식을 쓰면 과거의 위치 정보를 잊어버려 전체적인 경로가 틀어지는 Drift 현상이 발생한다.

LingBot-Map은 인간이 공간을 인지할 때 중요한 지점만 기억하고 나머지는 요약하는 방식에 착안했다. 전체 경로의 기준이 되는 초기 프레임(Anchor), 현재 위치를 잡기 위한 최근 프레임(Local Window), 그리고 지나온 모든 경로를 핵심 토큰으로 압축한 기억(Trajectory Memory)으로 Attention 대상을 분리했다.

이러한 구조를 통해 모델은 새로운 프레임이 들어올 때마다 이전의 모든 이미지 데이터를 들고 있을 필요 없이, 압축된 6개의 토큰만 추가로 참조하면 된다. 결과적으로 시퀀스 길이에 상관없이 프레임당 계산 비용을 거의 일정하게 유지하면서도 전체 경로의 일관성을 놓치지 않는 실시간 3D 재구성을 구현했다.

전체 시스템은 ViT(Vision Transformer) 백본을 사용하여 각 프레임을 인코딩하고, Frame Attention과 Geometric Context Attention(GCA) 층을 교차 배치하여 특징을 추출한다. GCA는 세 가지 컨텍스트를 관리하는데, 첫 n개 프레임을 고정 기준으로 삼는 Anchor Context, 최근 k개 프레임의 전체 토큰을 유지하는 Local Pose-reference Window, 그리고 윈도우를 벗어난 프레임들을 프레임당 6개의 요약 토큰으로 압축하여 보관하는 Trajectory Memory로 구성된다.

학습 시에는 Relative Pose Loss를 도입하여 윈도우 내 프레임 간의 상대적 움직임을 직접 감독한다. 이는 카메라 좌표계에서 회전과 이동이 결합되어 발생하는 오차 민감도를 낮추기 위함이다. 구체적으로 모든 프레임 쌍 (i, j)에 대해 Geodesic Rotation Error와 L1 Translation Error를 계산하여 합산한 뒤, 이를 전체 쌍의 수 k(k-1)로 나누어 평균 손실을 구한다.

추론 효율성을 극대화하기 위해 Paged KV-cache 레이아웃을 채택했다. 새로운 프레임이 추가되거나 오래된 프레임이 메모리에서 제거될 때 발생하는 빈번한 메모리 재할당 오버헤드를 방지하기 위해, 고정된 크기의 페이지 단위로 메모리를 관리하는 FlashInfer 런타임을 구현하여 기존 PyTorch 구현 대비 약 2배의 속도 향상(10.5 FPS → 20 FPS)을 얻었다.

Oxford Spires 벤치마크의 Sparse 설정(320프레임)에서 LingBot-Map은 AUC@15 지표 61.64를 기록하여, 기존 최고 성능의 오프라인 모델인 DA3(49.84)와 스트리밍 모델인 CUT3R(5.98)을 압도적인 차이로 제쳤다. 특히 절대 궤적 오차(ATE)를 6.42m로 낮추어 장거리 경로 추정의 정확성을 입증했다.

3,840프레임의 Dense 설정 실험에서는 시퀀스 길이가 12배 늘어났음에도 불구하고 ATE가 6.42에서 7.11로 단 0.69 증가하는 데 그쳤다. 반면 경쟁 모델인 CUT3R은 18.16에서 32.47로 오차가 급증하며 장기 시퀀스에서의 취약성을 보였다.

ETH3D, 7-Scenes, Tanks and Temples 등 다양한 환경의 데이터셋에서도 일관되게 가장 높은 F1 Score와 낮은 ATE를 기록했다. 특히 ETH3D 재구성 실험에서 F1 Score 98.98을 달성하며 2위 모델(77.28) 대비 20포인트 이상의 성능 격차를 보여주었다.

LingBot-Map 아키텍처는 DINOv2로 초기화된 ViT 백본을 기반으로 하며, 각 프레임마다 카메라 토큰(c), 레지스터 토큰(r), 앵커 토큰(a)을 추가하여 총 M+6개의 토큰을 생성한다. GCA 모듈은 이 토큰들을 입력받아 구조화된 Attention Mask를 적용함으로써 연산 복잡도를 시퀀스 길이 T에 대해 선형적으로 관리한다. 구체적으로 프레임당 토큰 증가율을 Causal Attention 대비 약 80배 감소시켰다.

학습은 2단계 커리큘럼으로 진행된다. 1단계에서는 전역 Attention을 사용하는 오프라인 베이스 모델을 짧은 시퀀스(2~24뷰)로 학습시켜 기초 기하학적 사전 지식을 습득한다. 2단계에서는 GCA를 도입하고 시퀀스 길이를 최대 320뷰까지 점진적으로 늘리며 장기 일관성을 학습시킨다. 이때 Context Parallelism을 활용하여 16개의 GPU에 뷰를 분산 배치함으로써 메모리 한계를 극복했다.

데이터 처리 파이프라인에서는 29개의 다양한 데이터셋을 통합하기 위해 좌표계 통일, 깊이 스케일 정규화, 손상된 프레임 필터링 등을 수행했다. 특히 MatrixCity와 같은 대규모 도시 데이터를 활용하기 위해 Random Walk 기반의 데이터 시퀀싱 알고리즘을 개발하여 연속적인 학습 데이터를 생성했다.

현재 모델은 명시적인 루프 클로저(Loop-closure) 감지 기능을 포함하고 있지 않아, 이전에 방문했던 장소를 다시 방문했을 때 누적된 오차를 완전히 제거하는 데 한계가 있을 수 있다. 또한 궤적 메모리의 압축 과정에서 미세한 기하학적 세부 정보가 일부 손실될 가능성이 존재한다.