DROID-SLAM in the Wild: 동적 환경을 위한 견고한 실시간 RGB SLAM

기존 SLAM 시스템은 주변이 멈춰있다고 가정하여 움직이는 물체가 있으면 위치 추적에 실패하는 경우가 많았다. DROID-W는 별도의 물체 인식 모델 없이도 픽셀별 불확실성을 스스로 계산해, 복잡한 도심이나 사람이 많은 곳에서도 정확하게 지도와 위치를 파악하는 기술을 선보였다.

SLAM은 카메라의 움직임과 주변 지도를 동시에 추정하는 기술이다. 기존의 DROID-SLAM은 모든 주변 환경이 정지해 있다는 강체 가정을 기반으로 동작하는데, 사람이 걷거나 차가 지나가는 동적 환경에서는 이 가정이 깨져 위치 추적에 실패하게 된다. DROID-W는 '어떤 영역이 움직이고 있는지'를 사전에 정의된 마스크 없이 스스로 판단하여 이 문제를 해결한다. 핵심 아이디어는 DINOv2와 같은 강력한 시각적 특징 추출기를 사용하여 여러 각도에서 찍힌 영상들 사이의 특징점 유사도를 계산하는 것이다. 기하학적으로는 일치해야 하는 지점임에도 불구하고 시각적 특징이 어긋난다면, 해당 지점은 움직이는 물체일 가능성이 높다고 보고 이를 '불확실성'으로 정의한다. 이렇게 계산된 불확실성 값은 위치 추정 계산 과정에서 가중치로 작용하여, 움직이는 물체에 해당하는 픽셀의 영향력을 줄인다. 결과적으로 별도의 객체 탐지 모델 없이도 동적 객체의 방해를 받지 않고 정교한 지도 생성과 위치 추적이 가능해진다.

DROID-SLAM의 미분 가능한 Bundle Adjustment(BA) 레이어를 확장하여 Uncertainty-aware Bundle Adjustment(UBA)를 도입했다. 입력 이미지 시퀀스에서 카메라 포즈와 역깊이를 상태 변수로 유지하며, 프레임 간 공유 가시성을 나타내는 프레임 그래프를 구축하여 반복적으로 업데이트한다. 픽셀별 동적 불확실성 $u_t$를 도입하여 재투영 오차를 가중치화한다. [신뢰도 지도 $w_{ij}$와 불확실성 $u'_i$를 입력으로] → [신뢰도를 불확실성으로 나누는 연산을 수행해] → [가중치 행렬 $\Sigma$를 얻고] → [이 값이 클수록 해당 픽셀의 오차를 위치 추정 계산에 더 많이 반영하게 된다]. 불확실성 최적화는 DINOv2 특징점의 코사인 유사도를 기반으로 수행된다. [추출된 특징 벡터 $F_i, F_{ij}$와 불확실성 $u'_i, u'_{ij}$를 입력으로] → [코사인 유사도를 계산하고 불확실성의 곱으로 나누는 연산을 수행해] → [유사도 손실 $E_{sim}$을 얻고] → [특징이 불일치하는 영역에서 불확실성 수치가 높아지도록 유도한다]. 공간적 일관성을 위해 DINOv2 특징에서 불확실성으로 가는 국소 아핀 매핑 레이어를 학습한다. [특징 맵 $F$와 학습 가능한 파라미터 $\theta$를 입력으로] → [행렬 곱셈 후 Softplus 함수를 적용해] → [0 이상의 값을 갖는 불확실성 지도 $u$를 생성하며] → [이는 노이즈에 강인하고 의미론적으로 일관된 불확실성 추정을 가능케 한다]. 마지막으로 Metric3D를 활용한 단안 깊이 예측값을 정규화 항으로 추가했다. [예측된 깊이 $D_i$와 추정된 깊이 $d'_i$를 입력으로] → [두 값의 차이를 제곱하여 합산하는 연산을 수행해] → [깊이 손실을 얻고] → [텍스처가 부족하거나 동적 객체가 화면을 가리는 상황에서도 기하학적 구조가 붕괴되지 않도록 보조한다].

Bonn RGB-D Dynamic 데이터셋에서 ATE RMSE 2.30cm를 기록하며 기존 SOTA 모델인 WildGS-SLAM(2.52cm) 및 DROID-SLAM(4.91cm)을 능가했다. 특히 움직이는 사람이 많은 시나리오에서 뛰어난 견고함을 보였다. TUM RGB-D 데이터셋의 동적 시퀀스에서도 평균 1.36cm의 오차를 기록하여 정적 환경을 가정한 모델들보다 우수한 성능을 입증했다. 자체 구축한 야외 DROID-W 데이터셋 실험 결과, 기존 feed-forward 방식인 TTT3R(7.309m) 대비 압도적으로 낮은 0.230m의 오차를 달성하며 실제 야외 환경에서의 실용성을 증명했다. RTX 3090 GPU 기준 약 10 FPS의 속도로 동작하며, 이는 유사한 불확실성 기반 모델인 WildGS-SLAM보다 약 40배 빠른 수치임이 확인됐다.

DROID-W는 DROID-SLAM의 아키텍처를 계승하면서도 동적 객체 처리를 위해 미분 가능한 UBA 레이어를 핵심으로 설계했다. 기존의 이진 마스킹 방식과 달리 연속적인 불확실성 값을 최적화 루프에 직접 통합하여 정보 손실을 최소화한다. 불확실성 추정의 핵심은 DINOv2의 의미론적 특징을 활용하는 것이다. 기하학적 재투영 오차는 초기 포즈가 부정확할 경우 신뢰하기 어렵지만, DINOv2 특징은 외형 변화에 강인하여 프레임 간의 실제 일치 여부를 더 정확하게 판단할 수 있는 근거를 제공한다. 최적화 과정에서는 포즈-깊이 업데이트와 불확실성 업데이트를 교차 방식으로 수행하여 연산 효율성을 높였다. 또한 Metric3D의 단안 깊이 정보를 사전 지식으로 활용하여, 동적 객체가 화면의 대부분을 가리는 극한 상황에서도 기하학적 일관성을 유지하도록 설계된 것이 기술적 차별점이다.

불확실성 최적화가 프레임 간 정렬에 의존하기 때문에, SLAM 초기화 단계에서 카메라 포즈 추정치가 매우 불안정할 경우 불확실성 계산 자체가 부정확해질 수 있는 한계가 존재한다.