M3: 단안 가우시안 스플래팅 SLAM을 위한 고밀도 매칭과 다중 뷰 파운데이션 모델의 결합

스마트폰 카메라 하나만으로 주변 환경을 정밀한 3D 모델로 실시간 복원할 수 있게 하는 기술이다. 기존 AI 모델들이 놓치던 미세한 픽셀 연결성을 해결하여, 로봇이나 자율주행차가 더 정확하게 자신의 위치를 파악하고 고화질 지도를 그릴 수 있도록 돕는다.

SLAM은 이동하며 지도를 그리는 기술인데, 최근 3D Gaussian Splatting(3DGS)과 결합되어 실사 같은 복원이 가능해졌다. 하지만 기존의 파운데이션 모델들은 각 프레임의 개별적인 기하 구조는 잘 파악해도, 프레임 사이의 픽셀 단위 연결 관계가 부정확해 정밀한 위치 추정(Bundle Adjustment)에 한계가 있었다.

M3는 Pi3X라는 다중 뷰 모델에 전용 'Matching Head'를 추가해 이 문제를 해결한다. 이는 각 픽셀의 특징값(Embedding)을 추출하고 비교하여, 서로 다른 각도에서 찍힌 영상 속 같은 지점을 정확히 찾아낸다. 이 정밀한 연결 정보를 바탕으로 카메라의 궤적과 3D 구조를 정교하게 맞추는 닻 역할을 수행한다.

또한 움직이는 물체를 자동으로 걸러내는 동적 영역 억제 기법을 도입했다. 이를 통해 사람이 지나다니는 복잡한 환경에서도 배경 지도가 흔들리지 않고 안정적으로 생성되며, 기존 기술 대비 위치 추정 오차를 60% 이상 줄이는 성과를 냈다.

Pi3X 백본에 DPT(Dense Prediction Transformer) 기반의 매칭 헤드를 통합한 아키텍처를 사용한다. 입력 이미지 프레임들을 Transformer 레이어에 통과시켜 특징 맵을 추출하고, 이를 통해 픽셀별 디스크립터와 매칭 신뢰도 맵을 동시에 생성한다.

트래킹 과정에서 Sim(3) 리 군(Lie Group) 상의 최적화를 수행한다. 카메라의 회전, 평행 이동뿐만 아니라 스케일 인자까지 포함하여 [입력 포즈와 포인트 맵 → Sim(3) 변환 연산 → 스케일이 정렬된 상대 포즈] 순으로 계산하여 단안 카메라 특유의 크기 모호성을 해결한다.

3D 가우시안 초기화 시 LoG(Laplacian-of-Gaussian) 확률 맵을 적용한다. 이미지의 고주파 영역이나 복원이 미흡한 부분을 [이미지 강도 변화량 계산 → LoG 필터링 → 가우시안 생성 확률 결정] 순으로 처리하여 세부 묘사가 필요한 곳에 효율적으로 가우시안을 배치한다.

ScanNet++ 데이터셋에서 위치 추정 오차(ATE RMSE) 0.065m를 기록하며 기존 SOTA 모델인 VGGT-SLAM 2.0 대비 오차를 64.3% 감소시켰다. 렌더링 품질 측면에서도 ScanNet++에서 PSNR 28.82dB를 달성하여 ARTDECO 모델보다 2.11dB 높은 성능을 보였다.

Waymo와 KITTI 등 야외 대규모 데이터셋에서도 우수한 성능을 입증했다. 특히 KITTI 데이터셋에서 ATE RMSE 0.890m를 기록하며 다른 SLAM 프레임워크들을 압도하는 궤적 정확도를 증명했다.

효율성 분석 결과, NVIDIA RTX 4090 GPU에서 실시간 스트리밍 처리가 가능함을 확인했다. 기존 피드포워드 방식 모델들보다 훨씬 적은 메모리를 사용하면서도 더 정밀한 시각적 세부 사항을 복원하는 데 성공했다.

Pi3X 모델을 확장하여 24차원의 고밀도 특징 디스크립터를 출력하는 헤드를 추가했다. 이 헤드는 InfoNCE 손실 함수를 통해 학습되며, 서로 다른 뷰에서 동일한 3D 좌표를 공유하는 픽셀 쌍의 디스크립터 일관성을 극대화하도록 설계되었다.

스트리밍 처리를 위해 슬라이딩 윈도우 관리 전략을 채택했다. 과거의 핵심 프레임(Keyframe)과 현재 프레임을 동시에 모델에 입력하여 Cross-Attention을 통해 기하학적 일관성을 강제하며, 이는 트래킹의 안정성을 크게 향상시킨다.

서로 다른 추론 세션 간의 내재적 파라미터(Intrinsic) 불일치를 해결하기 위해 RANSAC 기반의 정렬 메커니즘을 도입했다. 첫 번째 추론에서 얻은 내재 행렬을 기준으로 이후의 결과들을 스케일링하여 데이터 연관성의 견고함을 확보했다.

가우시안 표현력을 높이기 위해 계층적 LoD(Level of Detail) 구조를 도입했다. 각 가우시안에 거리에 따른 가시성 파라미터를 할당하여 대규모 환경에서도 깜빡임 현상 없이 부드러운 렌더링과 연산 효율성을 동시에 달성했다.

파운데이션 모델의 피드포워드 예측 정확도에 크게 의존하므로, 모델이 심각하게 잘못된 대응점을 생성할 경우 SLAM 최적화가 이를 복구하지 못할 위험이 있다. 또한 현재는 순수하게 단안 시각 정보만 사용하고 있어 LiDAR나 IMU와 같은 보조 센서와의 융합 연구가 추가로 필요하다.