Missing Modalities에서 강건한 다중 모달 imitation learning을 위한 Reinforcement-Learning-Guided Retrieval with Soft Fusion

로봇 시스템은 시각 카메라+언어 지시 등 여러 모달리티를 사용해 의사결정을 하지만, 센서 드롭아웃으로 모달리티가 사라질 때 기존 imitation learning 방법은 재현성이 떨어진다. RL4IL은 frozen encoder를 유지한 채 BFS-확장 후보 셋에서 가장 관련성 높은 시연을 RL로 선택하고, soft cross-attention으로 다수의 후보를 융합해 missing modality 상황에서도 재훈련 없이 robust한 예측을 달성한다. LIBERO 벤치마크에서 카메라 드롭아웃 조건 하의 성능이 크게 향상된다.

단락 1 - 출발점과 한계: 로봇 다중 모달 시각-언어 관측은 임의의 모달리티 손실에 취약하다. 기존 IL 방법은 모든 모달리티 가정하에 학습되거나, 모달리티 드롭아웃에 직면하면 재학습이 필요하다. 단순한 임퓨테이션으로의 의존은 실패 가능성이 크다. 단락 2 - 해결 원리: Em : Xm → R^dm 형태의 고정 임베딩을 이용하고, 모달리티-공정 거리 d를 통해 쿼리 o에 가장 인접한 k개를 C(kNN)(o)로 구성한다. BFS를 통해 B(s)를 확장하고, 정책 πθ를 PPO로 학습해 B(s) 내 후보 중 하나를 선택한다. 선택된 후보의 임베딩을 cross-attention으로 융합해 ŷ를 예측한다. 모달리티가 누락되면 per-modality imputation 정책이 donor를 선택하고, soft imputation head가 누락 모달리티를 보완한다. 단락 3 - 달라지는 점: soft fusion은 단일 후보에 의존하는 것보다 안정적이며, 모달리티 드롭아웃 상황에서도 재학습 없이 동작한다. 모듈별 정상화(모달리티-fair normalization)와 BFS 기반 후보 확장이 성능에 기여한다. 단락 4 - 요약: RL4IL은 policy 네트워크 재학습 필요 없이, 학습된 랭킹과 소프트 어텐션으로 다중 모달 시연의 정보를 통합하여 로봇 제어 정확도를 향상시키고, 카메라 드롭아웃 조건에서도 강건성을 보장한다.

단락 1 - 전체 접근 방식: 고정된 인코더로 각 모달리티를 임베딩하고, z-score 정규화를 통해 모달리티 간 차원을 균등하게 만든다. 모달리티-공정 거리 d(i, j)로 초기 이웃을 구성하고 BFS 그래프를 확장해 후보 풀을 만든다. 그 후, 후보들 중 하나를 선택하는 PPO 정책과 soft cross-attention fusion 헤드로 ŷ를 산출한다. 누락 모달리티 시에는 per-modality imputation으로 z̃(m)과 ẑ(m)를 얻어 전체 예측 파이프라인을 보완한다.

메인 벤치마크 결과: LIBERO-Goal에서 No Cam0 0.700 ± 0.227, No Cam1 0.705 ± 0.185; LIBERO-Object에서 No Cam0 0.733 ± 0.262, No Cam1 0.677 ± 0.216; LIBERO-Spatial에서 No Cam0 0.540 ± 0.200, No Cam1 0.441 ± 0.198. 얼개: soft fusion이 hard argmax 대비 성능을 일관되게 향상시키며, modality-fair normalization이 안정성을 높인다. 에포크 수 증가에 따른 효과는 목표 지향(task)에서 더明显하며, top-K fusion 후보의 수 변화에도 큰 민감도는 보이지 않는다.

단락 1 - 전체 아키텍처 구조: 모달리티별 고정 인코더 Em을 이용해 각 관측을 dm 차원 임베딩 z(m)로 맵핑하고, z-score 정규화를 수행한 뒤, 모달리티-공정 거리로 다중 모달 임베딩을 결합한다. 쿼리 o에 대해 kNN으로 초기 후보 C(o)를 구성하고, BFS를 통해 B(s)를 확장한다. 단락 2 - 핵심 메커니즘의 수학적/알고리즘적 기반: 거리 d(i, j) = sqrt( (1/M) sum_m ||z̃_i^(m) - z̃_j^(m)||^2 / d_m ) 가 정의되어, 각 모달리티의 차원을 보정하고 평균을 내도록 한다. 점수는 score(v) = MLPθ( hs ; hv ; hs ⊙ hv )이고, 정책 πθ(a=i|s) = exp(score(vi)) / sum_j exp(score(vj))로 정의된다. 보상 r(s,a)은 -L(y^v_a, y_s) + L(y*^(s), y_s)로, 정답 후보와 오뢰소의 손실 차이를 기반으로 한다. PPO 손실은 clipped surrogate와 엔트로피 보너스의 합으로 구성된다. 단락 3 - Prior work 대비 차별점: 재훈련 없이 missing-modality 상황에 대응하는 전용 per-modality imputation 정책과 BFS 기반 후보 확장, soft fusion으로 다중 후보의 정보를 활용하는 구조를 도입한다. 단락 4 - 구현 및 학습 세부: 3개의 모달리티(Agent-View, In-Hand, Language) 각각은 CLIP ViT-B/32로 고정 임베딩 512차원을 생성하며, 프롬핑 불필요; BFS의 깊이 D=6, 후보 수 |B(s)| ≥ 2 조건, top-K′=32의 소프트 어텐션 융합을 사용한다. Imputation 정책은 각 모달리티 m에 대해 PPO를 50 에폭으로 학습하고, Soft Imputation Head은 32개 도너를 cross-attention으로 집계해 ẑ^(m)을 얻는다.