RADIO-ViPE: 동적 환경에서의 오픈 보캐브러리 시맨틱 SLAM을 위한 온라인 밀결합 멀티모달 퓨전

기존의 시맨틱 SLAM 시스템은 카메라의 내부 파라미터나 깊이 센서(RGB-D)가 필수적이었으나, 이 논문은 보정되지 않은 일반 단안 RGB 영상만으로도 실시간 3D 지도 생성과 자연어 쿼리 대응이 가능함을 입증했다. 특히 가구가 옮겨지거나 사람이 움직이는 동적인 환경에서도 안정적인 성능을 유지하여 실제 로봇 서비스와 AR/VR 분야의 활용도를 크게 높였다.

기존의 SLAM은 이미지의 특징점이나 픽셀 강도 차이를 이용해 카메라의 위치를 추정(Odometry)하고 지도를 그린다. 하지만 단순히 기하학적 정보만으로는 '스푼이 어디에 있는가'와 같은 시맨틱한 질문에 답할 수 없으며, CLIP과 같은 언어 모델을 결합하려 해도 2D 이미지의 특징값과 3D 공간의 기하학적 구조를 일관성 있게 통합하는 데 어려움이 있었다.

RADIO-ViPE는 RADIO 모델에서 추출한 고차원 시각-언어 임베딩을 SLAM의 핵심 최적화 과정인 Bundle Adjustment에 직접 주입한다. 이는 단순히 지도 위에 라벨을 붙이는 것이 아니라, 픽셀 간의 의미적 유사성(Semantic Similarity)을 기하학적 재투영 오차(Reprojection Error)와 동일한 에너지 함수 내에서 동시에 최적화하는 방식이다.

특히 동적인 환경 문제를 해결하기 위해 '시간적 안정성' 개념을 도입했다. 여러 프레임에 걸쳐 의미적 특징이 일관되게 유지되는 영역은 정적인 배경으로 간주하여 학습 기여도를 높이고, 특징이 급격히 변하는 영역은 움직이는 물체로 판단하여 최적화 가중치를 낮춤으로써 지도의 오염을 방지한다. 결과적으로 보정되지 않은 일반 영상에서도 8-10 FPS의 실시간 속도로 정밀한 시맨틱 지도를 생성할 수 있게 되었다.

전체 시스템은 DROID-SLAM의 구조를 기반으로 하며, 여기에 RADIO 파운데이션 모델의 특징 추출기와 새로운 적응형 커널을 통합했다. 입력된 RGB 프레임에서 RADSeg를 통해 특징 지도를 추출하고, 이를 PCA(주성분 분석)로 압축하여 메모리 효율성을 확보한 뒤 Factor Graph의 노드로 추가한다.

핵심 메커니즘인 Joint Bundle Adjustment에서는 광학 흐름(Optical Flow) 기반의 Photometric Term과 RADIO 임베딩 기반의 Embedding Similarity Term을 결합한다. 임베딩 유사도 계산 시, 소스 픽셀 u를 타겟 프레임으로 투영한 좌표 v에서의 임베딩을 선형 보간(Bilinear Interpolation)으로 구한 뒤 코사인 유사도를 계산한다. [두 프레임 간의 임베딩 벡터 입력 → 코사인 유사도 연산 → 1에서 유사도를 뺀 값의 제곱근 산출 → 의미적 불일치 정도를 수치화].

동적 객체 처리를 위해 Temporal Stability Field Si(u)를 계산한다. [연결된 키프레임들 간의 유사도 평균과 분산 입력 → (평균 * (1-분산)) 연산 → 0~1 사이의 안정성 점수 산출 → 값이 1에 가까우면 정적, 0에 가까우면 동적 영역으로 판단]. 이 점수를 Barron Loss의 형상 파라미터 α와 매핑하여, 정적 영역은 L2 Loss(α=2)로, 움직이는 영역은 Cauchy Loss(α→0)로 처리하여 오차의 영향을 차단한다.

동적 환경 벤치마크인 TUM-RGBD 데이터셋에서 RADIO-ViPEark 모델은 평균 ATE(Absolute Trajectory Error) 1.63cm를 기록하며 Dyna-SLAM(2.00cm)이나 ViPE(2.17cm) 등 기존 SOTA 모델들을 능가했다. 특히 사람이 활발히 움직이는 'fr3/sitting/xyz' 시퀀스에서 0.98cm의 오차를 보여 동적 환경에서의 견고함을 입증했다.

Replica 데이터셋을 이용한 3D 시맨틱 세그멘테이션 실험에서는 배경을 제외한 설정에서 mIoU 24.25%, Acc 59.25%를 달성했다. 이는 카메라 보정값과 깊이 정보를 모두 사용하는 오프라인 모델인 RayFronts(mIoU 39.37%)보다는 낮지만, 보정 없이 실시간으로 동작하는 온라인 시스템 중에서는 최상위권의 성능이다. 또한 PCA를 통한 특징 압축(D=256)이 성능 저하를 최소화하면서도 메모리 사용량을 획기적으로 줄임을 확인했다.

아키텍처는 DROID-SLAM의 미분 가능한 Bundle Adjustment 레이어를 확장하여 시맨틱 특징 정렬을 수용하도록 설계되었다. RADIO 모델의 특징값은 고차원이므로 실시간 처리를 위해 초기화 단계에서 수집된 키프레임들을 바탕으로 PCA를 수행하여 256차원으로 압축한다. 이는 구조적 무결성을 유지하면서 연산량을 줄이는 핵심 기법이다.

수학적으로는 Barron Loss의 일반화된 형태를 사용하여 최적화 목적 함수를 구성했다. 기존 SLAM이 단순히 광학적 오차에만 의존했다면, 본 연구는 임베딩 공간에서의 코사인 거리를 에너지 함수에 통합함으로써 텍스처가 부족한 영역에서도 의미적 정보를 바탕으로 정확한 데이터 연관(Data Association)을 수행할 수 있게 했다. 또한 비-키프레임(Non-keyframe)의 포즈는 깊이 추정을 생략하고 광학적 정렬만을 통해 병렬로 계산하여 처리 속도를 높였다.

벽이나 바닥과 같은 거대한 구조적 클래스를 세그멘테이션할 때 배경 정보가 포함된 설정(With Background)에서는 성능이 저하되는 경향이 있다. 또한 현재 시스템은 8-10 FPS 수준으로 동작하여 고속 이동 상황에서는 제약이 있을 수 있다.