LoGeR: 하이브리드 메모리를 활용한 장기 문맥 기하학적 복원

기존의 3D 복원 모델은 영상이 길어질수록 연산량이 기하급수적으로 늘어나거나 과거 정보를 잊어버려 지도가 뒤틀리는 한계가 있었다. 이 논문은 하이브리드 메모리 구조를 통해 수 킬로미터에 달하는 긴 경로를 별도의 후처리 최적화 없이도 실시간에 가깝게 정밀하게 복원할 수 있음을 증명했다.

Transformer의 핵심인 Attention 메커니즘은 모든 데이터 쌍의 관계를 계산하기 때문에 영상이 길어질수록 연산량이 프레임 수의 제곱에 비례해 폭증한다. 이로 인해 수천 프레임의 비디오를 한꺼번에 처리하는 것은 메모리 한계로 인해 불가능에 가까웠다. LoGeR는 이를 해결하기 위해 인간의 기억 방식과 유사한 '하이브리드 메모리'를 도입한다.

첫 번째 단계로, 바로 인접한 프레임 간에는 정보를 압축하지 않고 그대로 전달하는 SWA를 사용하여 미세한 지형의 연결 부위를 정밀하게 맞춘다. 이는 마치 우리가 바로 앞의 길을 눈으로 직접 보며 걷는 것과 같다. 두 번째 단계로, 멀리 떨어진 과거의 지형 정보는 TTT 레이어를 통해 신경망의 가중치(가중치 행렬) 속에 압축하여 저장한다. 이는 머릿속에 대략적인 지도를 그려두고 현재 위치를 파악하는 것과 유사한 원리다.

결과적으로 연산량은 영상 길이에 비례해 선형적으로만 증가하면서도, 모델은 수 킬로미터 전의 출발점 정보를 잊지 않고 현재의 복원 결과와 일치시킬 수 있게 된다. 이를 통해 기존 모델들이 겪었던 '문맥의 벽'과 '데이터의 벽'을 동시에 극복하고 무한에 가까운 길이의 비디오를 3D로 재구성할 수 있다.

전체 시스템은 비디오를 고정된 크기의 청크 단위로 처리하는 순차적 구조를 가진다. 각 청크 내부에서는 양방향 Attention을 사용하여 고해상도 포인트맵을 생성하며, 청크 간의 정보 전달은 하이브리드 메모리 모듈이 담당한다.

SWA 레이어는 [이전 청크의 마지막 토큰들과 현재 청크의 토큰들을 입력으로] → [국소적인 Attention 연산을 수행해] → [연속성이 확보된 특징 벡터를 얻고] → [이를 통해 조각난 영상 경계면에서 3D 지도가 끊기지 않게 정렬한다.]

TTT 레이어는 [현재 청크의 기하학적 특징값을 입력으로] → [자기 지도 학습 기반의 경사 하강법 업데이트를 수행해] → [장면의 전역적 구조가 반영된 가중치 W를 얻고] → [이 가중치를 다음 청크 처리에 적용함으로써 전체 경로의 스케일이 틀어지는 현상을 방지한다.]

학습 시에는 48프레임에서 시작하여 128프레임까지 시퀀스 길이를 늘려가는 점진적 커리큘럼을 적용한다. 또한, 매우 긴 시퀀스에서 오차가 누적되는 것을 막기 위해 추론 시 주기적으로 TTT 상태를 초기화하고 피드포워드 포즈 정렬(Pose Alignment)을 수행하는 전략을 사용한다.

KITTI 벤치마크 실험 결과, LoGeR는 절대 궤적 오차(ATE)를 기존 피드포워드 방식의 최신 모델들보다 월등히 낮은 18.65m로 줄였다. 이는 이전 최고 기록 대비 약 74% 개선된 수치이며, 심지어 복잡한 후처리를 거치는 최적화 기반 SLAM 시스템보다도 우수한 성능을 보였다.

VBR 데이터셋을 활용한 초장거리 실험(최대 11.5km 경로, 18,846프레임)에서도 루프 클로저를 성공적으로 수행하며 전역적인 일관성을 유지했다. 특히 기존 모델들이 수천 프레임 이후 스케일이 붕괴되는 현상을 겪는 것과 달리, LoGeR는 TTT 모듈의 앵커링 효과 덕분에 안정적인 궤적을 유지했다.

Ablation Study를 통해 SWA를 제거할 경우 인접 청크 간의 정렬이 어긋나고, TTT를 제거할 경우 전체적인 경로가 심하게 휘어지는 현상을 확인하여 두 메모리 구성 요소의 필수성을 입증했다.

LoGeR 아키텍처는 DINO 기반의 패치화(Patchifier) 모듈과 18개의 잔차 블록으로 구성된 백본을 사용한다. 각 블록에는 TTT 레이어가 포함되어 있으며, SWA 레이어는 연산 효율을 위해 6, 10, 14, 18번째 블록에만 전략적으로 배치된다.

TTT 레이어는 SwiGLU MLP 구조를 채택하고 Muon 옵티마이저를 사용하여 테스트 시점에 가중치를 업데이트한다. 이는 고정된 메모리 사용량을 유지하면서도 이론적으로 무한한 문맥 정보를 가중치 파라미터 내에 축적할 수 있게 해준다.

손실 함수는 세 가지 요소의 결합으로 구성된다. 스케일 불변 국소 포인트맵 손실(L_local)은 개별 프레임의 정밀도를, 아핀 불변 상대 포즈 손실(L_pose)은 프레임 간의 움직임을, 전역 포인트맵 손실(L_global)은 전체 좌표계에서의 일관성을 강제한다.

데이터 벽 문제를 해결하기 위해 TartanAirV2, VKITTI2 등 대규모 항법 데이터셋을 포함한 14개의 데이터셋 혼합물을 사용하여 학습했으며, 이를 통해 모델이 장거리 주행 시 발생하는 기하학적 변화를 학습하도록 했다.

TTT 가중치가 이론적으로 무한한 문맥을 수용할 수 있음에도 불구하고, 실제로는 학습 시 경험한 시퀀스 길이를 크게 벗어날 경우 오차가 누적되는 한계가 있다. 이를 해결하기 위해 현재는 주기적인 상태 리셋에 의존하고 있으며, 향후 더 긴 시퀀스에 대한 일반화 능력을 갖춘 선형 모델 연구가 필요하다.