로봇 제어를 위한 인컨텍스트 월드 모델링

현대의 Vision-Language-Action 모델은 학습 시 고정된 시스템 구성 ψ를 암묵적으로 가정하여 새로운 카메라 뷰나 로봇 형태에서 성능이 급락하는 문제가 반복적으로 관찰된다. 본 논문은 짧은 무작위 상호작용을 컨텍스트로 제공하면 모델이 추가 파라미터 업데이트 없이도 현재 시스템의 감각-운동 관계를 암묵적으로 복원할 수 있음을 보인다. 이 접근은 현장 배포 시 각 환경마다 데이터수집·미세조정이 필요한 반복 비용을 줄이며 제로-샷 적응을 가능하게 한다.

기존 VLA 정책은 πθ(at | ot, l) 형태로 학습되어 학습 시 고정된 시스템 구성 ψ를 모델 파라미터로 흡수한다. 따라서 테스트 환경이 학습 분포에서 벗어나면 관측 ot가 동일한 물리적 상태에 대해 다른 좌표계·투영을 반영할 수 있어 올바른 행동 매핑을 복원하지 못한다. 이것은 본질적으로 시스템 식별(system identification) 문제로 정의되며 컨텍스트를 통해 ψ를 복원할 수 있다는 사고가 출발점이다. ICWM은 인컨텍스트 학습의 맥락 창을 '무엇을 할지(behavior specification)'를 제공하는 용도로 쓰는 기존 관례에서 벗어나 '시스템이 어떻게 동작하는지(system identification)'를 추론하는 용도로 재사용한다. 구체적으로 단일 이미지(o0)는 ψ에 대한 정보가 부분적이지만, 무작위 행동 a1:t와 그에 따른 관찰 o1:t의 전이는 ψ 관련 정보를 누적·보강한다는 정보 이론적 주장(I(ψ; o0:t, a1:t) > I(ψ; o0))이 핵심 직관이다. 실행 관점에서 모델은 선행된 상호작용 클립 T에 대해 Transformer가 시각적 흐름과 대응하는 행동 토큰을 함께 주목(attend)하도록 하여 Ψ(T)라는 숨은 표현을 형성한다. 이후 태스크 쿼리(ot, l)를 처리할 때 이 Ψ(T)가 관측의 좌표계·키네마틱 왜곡을 보정하는 역할을 하여 적절한 연속 액션을 생성한다.

전체 설계는 신경정책을 추가 파라미터 없이 '컨텍스트로 확장된 입력 시퀀스'로 구성하는 단일 전달 경로(single forward pass)로 구현된다. 학습 시 각 트레이닝 샘플 앞에 N개의 태스크 비종속적 상호작용 클립을 무작위로 샘플링하여 접두사로 붙이고 표준 행동 예측 손실 L = − log πθ(at | Ψ(T), ot, l)로 최적화한다. 이로 인해 모델은 다양한 ψ에서 정확한 행동을 출력하려면 T로부터 ψ 관련 규칙성을 추출해야 하는 신호를 받는다. 테스트 시에는 두 단계 프로토콜을 따른다. 첫째 Active Probing 단계에서 로봇이 안전한 작업영역 내에서 N개의 무작위 목표 포즈를 선택하고 고정 스텝으로 움직여 (o_s, a, o_e) 전이들을 수집한다. 둘째 In-Context Execution 단계에서 수집한 샘플들 중 N개를 선택해 선행 컨텍스트로 넣고 한 번의 순전파로 Ψ(T)를 형성한 후 태스크 쿼리를 처리해 행동을 생성한다. 구현 세부에서는 Qwen2.5-VL-3B 백본과 FAST 액션 토크나이저를 활용해 이미지 토큰과 행동 토큰을 결합하고 action chunking(청크 크기 5)을 적용했다. N은 기본 5로 설정되며, 실험에서 탐사 단계는 20회 분량을 수집해 그 중 N=5를 매 추론 시 샘플링해 사용했다.

시뮬레이션 LIBERO 벤치마크에서 ICWM은 Multi-View BC에 비해 OOD 평균 성공률을 13.0%p 향상시켰고, Explicit Configuration(지면각 입력 추가)보다도 평균 9.5%p 높은 성능을 보였다. 특히 LIBERO-Long 태스크에서 ICWM은 MV보다 큰 이득을 보였으며, Long에서는 seen에서 +29.9%p, unseen에서 +26.3%p의 상대적 향상이 보고되었다. 이 결과는 장기 계획 과제에서 작은 공간 오정렬이 누적 오류로 연결되는 특성 때문에 시스템 식별의 이득이 증폭됨을 의미한다. 실제 UR5e 플랫폼 실험에서는 Multi-View 베이스라인이 뷰포인트 이동 시 68%에서 17%로 성능이 급락했으나 ICWM은 이러한 저하를 크게 완화하여 태스크별로 큰 향상을 기록했다. 어블레이션 결과는 이미지가 제거된 컨텍스트가 성능을 심각하게 붕괴시켜 평균 −56.4%p 하락을 유발했으며, 행동 토큰이 제거되면 중간 수준의 하락이 발생해 관측-행동 쌍의 중요성이 확인되었다. 또 거짓(잘못 정렬된) 컨텍스트는 오히려 부정적 전이를 일으켜 ‘정렬된 컨텍스트가 실제로 세계 모델 추론에 사용됨’을 시사한다. 추가 실험으로 탐사 전략(XY-only, Z-only, R-only, Random)과 형태학적 변형(그리퍼 스페이서, 링크 길이 단축)에서도 ICWM은 일관된 성능 우위를 유지했으며, 컨텍스트의 숨은 표현 Ψ(T)는 t-SNE 시각화에서 뷰포인트별로 군집을 형성해 식별 가능성이 확인되었다. 추론 비용은 컨텍스트 길이에 따라 증가했으나, 컨텍스트 숨은 상태는 KV 캐시로 재사용 가능해 실제 제어 루프에서의 추가 오버헤드는 사전 계산으로 상쇄될 수 있다.

전체 아키텍처는 비주얼 언어 모델(VLM) 백본을 공유하는 Transformer 기반 시퀀스 모델로 구성되며, 입력 시퀀스는 선행된 N개의 상호작용 클립(각각 start image, action tokens, end image)과 태스크 쿼리(현재 이미지·지시어·행동 토큰)로 직렬화된다. Transformer의 초기 단계는 먼저 상호작용 컨텍스트를 주목해서 Ψ(T)에 해당하는 히든 상태를 형성하고, 이후 토큰 처리를 통해 태스크 쿼리를 해석해 행동을 출력하도록 설계되었다. 이때 Ψ는 별도 파라미터 블록이 아닌 백본의 히든 상태를 의미하며, 컨텍스트와 쿼리가 동일한 파라미터 집합으로 처리된다. 학습 목표는 표준 행동 예측 음의 로그우도이며, 데이터는 다양한 카메라 뷰와 형태를 포함하도록 수집되었다. 학습 시 각 샘플 앞에 무작위 상호작용 클립을 붙이는 데이터 구성으로 모델이 컨텍스트 기반의 시스템 식별을 내재화하도록 유도했다. 구현 세부에서는 Qwen2.5-VL-3B를 백본으로, FAST 액션 토크나이저를 사용해 연속 행동을 이산 토큰으로 인코딩하고 action-chunking(청크 크기 5)을 적용해 제어 안정성을 확보했다. 추론 효율 측면에서 N=3 또는 N=5일 때 단위 추론 지연은 각각 약 0.165s와 0.185s로 보고되었으며, 베이스라인(0.112s) 대비 증가가 관찰되었다. 그러나 상호작용 컨텍스트 Tψ는 고정된 구성에서는 정적이므로 KV 캐시를 통해 Ψ(T) 히든 상태를 미리 계산하면 이후 per-step 오버헤드는 거의 베이스라인 수준으로 환원할 수 있다.

논문은 일부 뷰포인트(예: 135°)에서 심한 시야 가림이나 작업공간 가시성 저하가 발생하면 모든 비교방법에서 성능이 떨어지는 관측을 보고했고 이는 본 방법의 한계로 명시되었다. 탐사 단계는 통상 20회 정도의 동작과 5~6초의 추가 시간이 필요하며, 완전히 새로운 구성에서 이 비용이 일회성으로 발생하는 점은 실무 상 고려사항이다. 또한 잘못 정렬된 또는 이질적인 컨텍스트는 오히려 부정적 전이를 초래해 컨텍스트의 수집·선택 과정이 신뢰성 있게 설계되어야 한다고 보고되었다.