연속적 환경에서의 시맨틱 시청각 내비게이션

기존 AI 로봇은 격자 형태의 정해진 지점에서만 움직이거나 소리가 계속 나야만 목표를 찾을 수 있는 한계가 있었습니다. 이 연구는 로봇이 자유롭게 이동하는 실제와 유사한 환경에서 소리가 중간에 끊기더라도 과거의 기억과 자신의 움직임을 결합해 목표물을 끝까지 찾아내는 기술을 제시하여 로봇의 실용성을 높였습니다.

Transformer의 Self-Attention 메커니즘은 입력 데이터 간의 관계를 파악하는 데 탁월하지만, 내비게이션처럼 시간에 따라 변화하는 정보를 처리할 때는 과거의 맥락을 잃기 쉽다. 특히 시청각 내비게이션에서 목표물이 소리를 멈추면, 현재의 관측값만으로는 목표의 위치를 알 수 없는 정보 손실 문제가 발생한다.

MAGNet은 이를 해결하기 위해 '에피소드 메모리'를 도입하여 과거의 오디오 임베딩을 저장하고, 이를 로봇의 '자기 이동 신호'와 결합한다. 로봇이 회전하거나 전진할 때마다 변화하는 포즈 정보를 입력으로 받아, 메모리에 저장된 목표물의 상대적 위치를 수학적으로 보정하며 추적을 유지한다.

결과적으로 소리가 들리지 않는 '침묵 구간'에서도 로봇은 이전에 파악한 목표의 방향과 거리를 지속적으로 갱신할 수 있다. 이는 단순한 시각적 탐색을 넘어, 청각적 기억과 물리적 이동을 통합하여 복잡한 3D 환경을 효율적으로 탐색하게 만든다.

전체 구조는 멀티모달 관측 인코더, 메모리 증강 목표 기술자 네트워크(GDN), 문맥 인식 정책 네트워크의 세 가지 모듈로 구성된다. 관측 인코더는 RGB-D 이미지, 이전 행동, 현재 포즈, 바이너럴 오디오 입력을 각각의 전용 인코더를 통해 임베딩으로 변환한다.

GDN은 바이노럴 오디오 특징과 자기 이동 신호를 융합하여 에피소드 메모리에 저장한다. [오디오/포즈/행동 임베딩을 입력으로] -> [MLP를 통해 융합하고 트랜스포머 인코더로 시계열 연산을 수행하여] -> [ACCDDOA 형식의 벡터를 출력하고] -> [이 값은 목표물의 카테고리, 활동 상태, 방향, 거리를 의미한다]. 이를 통해 소리가 없는 상태에서도 일관된 목표 표현을 유지한다.

정책 네트워크는 트랜스포머 기반의 인코더-디코더 구조를 사용하여 축적된 장면 메모리를 처리한다. [장면 메모리 Ms,t를 입력으로] -> [트랜스포머 인코더를 거쳐 문맥 벡터 Me를 생성하고] -> [디코더를 통해 행동 분포를 계산하여] -> [다음 행동인 전진, 좌/우 회전, 정지를 결정한다]. 학습에는 DD-PPO 알고리즘을 사용하여 분산 환경에서 최적화를 수행한다.

Matterport3D 기반의 SAVN-CE 데이터셋에서 실험한 결과, MAGNet은 Clean Environment(방해 소음 없음)에서 성공률(SR) 37.7%, SPL 32.9%를 기록하며 기존 SAVi 모델(SR 25.6%)을 크게 앞질렀다. 특히 소리가 멈춘 상태에서 목표에 도달하는 비율인 SWS 지표에서 10.6%를 달성하여 기존 모델(6.0%) 대비 높은 목표 추적 능력을 보였다.

Distracted Environment(방해 소음 존재) 시나리오에서도 SR 19.3%를 기록하며 모든 베이스라인 중 가장 높은 성능을 유지했다. 다만 방해 소음이 목표 소리와 유사할 경우 위치 추정 정확도가 다소 하락하는 경향을 보였으나, 여전히 메모리 기반의 추론 덕분에 타 모델보다 강건한 모습을 보였다.

Ablation Study를 통해 에피소드 메모리와 자기 이동 신호의 중요성을 확인했다. 메모리 기능을 제거했을 때 성공률이 37.7%에서 33.9%로 하락했으며, GDN 자체를 제거했을 때는 32.4%까지 떨어져 명시적인 목표 추론 메커니즘이 내비게이션 효율성에 핵심적임을 입증했다.

SAVN-CE 태스크는 SoundSpaces 2.0 시뮬레이터를 활용하여 16kHz 오디오 샘플링과 0.25초 단위의 연속적인 물리 시뮬레이션을 구현한다. 기존의 사전 계산된 RIR 방식 대신 실시간 바이노럴 렌더링을 통해 로봇의 미세한 움직임에 따른 음향 변화를 동적으로 반영한다.

GDN 아키텍처는 ACCDDOA(Activity-Coupled Cartesian Direction-of-Arrival) 표현법을 사용하여 목표 추론을 수행한다. [목표 카테고리 c와 시간 t에 대한 레이블 yct = [actRct, dct]를 계산하며], 여기서 act는 소리의 활성화 여부(0 또는 1), Rct는 단위 노름 방향 벡터, dct는 정규화된 거리를 나타낸다.

정책 네트워크는 DD-PPO(Decentralized Distributed Proximal Policy Optimization)를 통해 2억 4천만 스텝 이상의 대규모 학습을 수행한다. 보상 체계는 목표 도달 시 +10점, 거리 단축에 따른 중간 보상, 시간 경과에 따른 -0.01점의 페널티로 구성되어 효율적인 경로 탐색을 유도한다.

시각 인코더는 두 개의 독립적인 ResNet-18 백본을 사용하여 RGB와 깊이 정보를 처리하며, 오디오 인코더는 STFT를 거친 4채널 특징(Magnitude, IPD sine/cosine, ILD)을 입력으로 받는 3층 컨볼루션 구조를 가진다.

방해 소음이 존재하는 환경에서 목표 소리와 방해 소음이 음향적으로 유사할 경우 성능이 저하되는 한계가 있다. 또한 현재는 단일 목표물에 대해서만 다루고 있어 다수의 목표물이나 동적인 목표물이 존재하는 복잡한 시나리오에 대한 확장이 필요하다.