Missing Modalities에서 강건한 다중 모달 imitation learning을 위한 Reinforcement-Learning-Guided Retrieval with Soft Fusion

로봇 시스템은 시각 카메라+언어 지시 등 여러 모달리티를 사용해 의사결정을 하지만, 센서 드롭아웃으로 모달리티가 사라질 때 기존 imitation learning 방법은 재현성이 떨어진다. RL4IL은 frozen encoder를 유지한 채 BFS-확장 후보 셋에서 가장 관련성 높은 시연을 RL로 선택하고, soft cross-attention으로 다수의 후보를 융합해 missing modality 상황에서도 재훈련 없이 robust한 예측을 달성한다. LIBERO 벤치마크에서 카메라 드롭아웃 조건 하의 성능이 크게 향상된다.

왜 중요한가

핵심 기여

RL-guided demonstration retrieval

PPO로 학습된 정책이 BFS-augmented 후보 세트에서 각 후보의 유용성을 점수화하고 최적의 시연을 선택한다. heuristic 거리 가중치 대신 학습된 선택 전략으로 이웃을 랭크한다.

Soft cross-attention fusion

상위-K′ 후보를 대상으로 cross-attention 기반의 소프트 가중합을 수행하여 ŷ를 도출한다. 이 방식은 단일 최적 후보에 의존하는 것을 피하고 노이즈가 있는 후보군에서도 안정적인 예측을 제공한다.

Zero-shot missing-modality robustness without retraining

추론 시 모달리티가 누락되면 모달리티별 RL 조회 정책이 donor를 식별하고, soft imputation head가 상위 후보들 간 cross-attention으로 누락 벡터를 재구성한다. 정책 네트워크 재훈련 없이 동작한다.

State-of-the-art LIBERO 벤치마크 성능

LIBERO-Spatial, LIBERO-Object, LIBERO-Goal에서 카메라 드롭아웃 하의 Baseline보다 우수한 성능을 보인다. 예를 들어 RL4IL은 No Cam0에서 0.700±0.227, No Cam1에서 0.705±0.185를 기록했고 LIBERO-Object에서 0.733±0.262를 달성했다.

핵심 아이디어 이해하기

단락 1 - 출발점과 한계: 로봇 다중 모달 시각-언어 관측은 임의의 모달리티 손실에 취약하다. 기존 IL 방법은 모든 모달리티 가정하에 학습되거나, 모달리티 드롭아웃에 직면하면 재학습이 필요하다. 단순한 임퓨테이션으로의 의존은 실패 가능성이 크다. 단락 2 - 해결 원리: Em : Xm → R^dm 형태의 고정 임베딩을 이용하고, 모달리티-공정 거리 d를 통해 쿼리 o에 가장 인접한 k개를 C(kNN)(o)로 구성한다. BFS를 통해 B(s)를 확장하고, 정책 πθ를 PPO로 학습해 B(s) 내 후보 중 하나를 선택한다. 선택된 후보의 임베딩을 cross-attention으로 융합해 ŷ를 예측한다. 모달리티가 누락되면 per-modality imputation 정책이 donor를 선택하고, soft imputation head가 누락 모달리티를 보완한다. 단락 3 - 달라지는 점: soft fusion은 단일 후보에 의존하는 것보다 안정적이며, 모달리티 드롭아웃 상황에서도 재학습 없이 동작한다. 모듈별 정상화(모달리티-fair normalization)와 BFS 기반 후보 확장이 성능에 기여한다. 단락 4 - 요약: RL4IL은 policy 네트워크 재학습 필요 없이, 학습된 랭킹과 소프트 어텐션으로 다중 모달 시연의 정보를 통합하여 로봇 제어 정확도를 향상시키고, 카메라 드롭아웃 조건에서도 강건성을 보장한다.

방법론

단락 1 - 전체 접근 방식: 고정된 인코더로 각 모달리티를 임베딩하고, z-score 정규화를 통해 모달리티 간 차원을 균등하게 만든다. 모달리티-공정 거리 d(i, j)로 초기 이웃을 구성하고 BFS 그래프를 확장해 후보 풀을 만든다. 그 후, 후보들 중 하나를 선택하는 PPO 정책과 soft cross-attention fusion 헤드로 ŷ를 산출한다. 누락 모달리티 시에는 per-modality imputation으로 z̃(m)과 ẑ(m)를 얻어 전체 예측 파이프라인을 보완한다.

주요 결과

메인 벤치마크 결과: LIBERO-Goal에서 No Cam0 0.700 ± 0.227, No Cam1 0.705 ± 0.185; LIBERO-Object에서 No Cam0 0.733 ± 0.262, No Cam1 0.677 ± 0.216; LIBERO-Spatial에서 No Cam0 0.540 ± 0.200, No Cam1 0.441 ± 0.198. 얼개: soft fusion이 hard argmax 대비 성능을 일관되게 향상시키며, modality-fair normalization이 안정성을 높인다. 에포크 수 증가에 따른 효과는 목표 지향(task)에서 더明显하며, top-K fusion 후보의 수 변화에도 큰 민감도는 보이지 않는다.

기술 상세

단락 1 - 전체 아키텍처 구조: 모달리티별 고정 인코더 Em을 이용해 각 관측을 dm 차원 임베딩 z(m)로 맵핑하고, z-score 정규화를 수행한 뒤, 모달리티-공정 거리로 다중 모달 임베딩을 결합한다. 쿼리 o에 대해 kNN으로 초기 후보 C(o)를 구성하고, BFS를 통해 B(s)를 확장한다. 단락 2 - 핵심 메커니즘의 수학적/알고리즘적 기반: 거리 d(i, j) = sqrt( (1/M) sum_m ||z̃_i^(m) - z̃_j^(m)||^2 / d_m ) 가 정의되어, 각 모달리티의 차원을 보정하고 평균을 내도록 한다. 점수는 score(v) = MLPθ( hs ; hv ; hs ⊙ hv )이고, 정책 πθ(a=i|s) = exp(score(vi)) / sum_j exp(score(vj))로 정의된다. 보상 r(s,a)은 -L(y^v_a, y_s) + L(y*^(s), y_s)로, 정답 후보와 오뢰소의 손실 차이를 기반으로 한다. PPO 손실은 clipped surrogate와 엔트로피 보너스의 합으로 구성된다. 단락 3 - Prior work 대비 차별점: 재훈련 없이 missing-modality 상황에 대응하는 전용 per-modality imputation 정책과 BFS 기반 후보 확장, soft fusion으로 다중 후보의 정보를 활용하는 구조를 도입한다. 단락 4 - 구현 및 학습 세부: 3개의 모달리티(Agent-View, In-Hand, Language) 각각은 CLIP ViT-B/32로 고정 임베딩 512차원을 생성하며, 프롬핑 불필요; BFS의 깊이 D=6, 후보 수 |B(s)| ≥ 2 조건, top-K′=32의 소프트 어텐션 융합을 사용한다. Imputation 정책은 각 모달리티 m에 대해 PPO를 50 에폭으로 학습하고, Soft Imputation Head은 32개 도너를 cross-attention으로 집계해 ẑ^(m)을 얻는다.

실무 활용

센서 드롭아웃 상황에서 재훈련 없이 다중 모달 로봇 제어를 구현하는 실용적 방법이다.

로봇 팔 조작에서 카메라 하나가 불량인 상황의 안전하고 안정적인 시연 재생
다중 카메라 시나리오에서 한 카메라의 신호가 일시적으로 비정상일 때도 작동하는 로봇 시스템
언어 지시가 주어지는 로봇 작업에서 시각 정보 손실 시에도 지시를 이행하는 로봇
제작 현장의 로봇이 고정된 센서 구성을 유지하면서도 센서 고장을 빠르게 극복하는 상황

코드 공개 여부: 공개

코드 저장소 보기

키워드

reinforcement learning (강화학습)imitation learning (모방학습)Breadth-First Search (너비 우선 탐색)PPO (Proximal Policy Optimization)cross-attention fusion (교차 어텐션 융합)sensor dropout (센서 드롭아웃)missing modalities (missing modalities)

용어 해설

모달리티 공정 거리(modality-fair distance): — 여러 모달리티의 임베딩 간 거리를 각 모달리티의 차원 수로 정규화한 뒤 평균화하여 계산하는 거리 척도이다.
소프트 크로스-어텐션(soft cross-attention): — 상위 후보들에 대해 교차-어텐션을 적용하여 가중합된 신호로 최종 예측을 생성하는 융합 헤드이다.
너비 우선 탐색(Breadth-First Search): — 입력 소스의 초기 이웃들로부터 BFS를 수행하여 그래프 상의 후보 집합을 확장하는 탐색 전략이다.
kNN 검색(kNN retrieval): — 쿼리와의 거리 기반으로 초기 이웃을 선택하고 후보군을 구성하는 근접 이웃 탐색 방법이다.
모달리티별 임퓨테이션(per-modality imputation): — Inference 시 누락된 모달리티를 다른 모달리티로 보완해 임베딩 벡터를 재구성하는 2단계 파이프라인이다.
PPO(프로시멀 정책 최적화)(PPO): — 랭킹 정책을 학습하기 위한 옵티마이제이션 기법으로, 클리핑된 대리함수 objective를 사용한다.

Missing Modalities에서 강건한 다중 모달 imitation learning을 위한 Reinforcement-Learning-Guided Retrieval with Soft Fusion

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Remember‑R1으로 시각적 어텐션 지속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

Remember‑R1으로 시각적 어텐션 지속화