InternVLA-A1.5: 이해·잠재 예측·행동을 통합한 조합적 일반화

비전과 언어의 의미 이해 능력과 물리적 동역학을 함께 갖춘 단일 정책은 로봇이 언어 지시에 따라 다양한 객체와 환경에서 유연하게 작동하는 데 필수적이다. 기존 통합 접근법은 픽셀 수준 예측 학습 때문에 계산 비용과 학습 간섭이 커지며, 사전학습된 비디오 생성기의 동역학 지식을 활용하지 못해 일반화에 한계가 있었다. InternVLA-A1.5는 소수의 학습 가능한 포사이트 토큰과 동결된 비디오 생성기 감독을 결합해 픽셀 생성 부담을 피하면서 세계 모델의 동적 prior를 정책으로 옮겨 현실 환경에서의 제어와 제로샷 조합 일반화를 향상시켰다.

문제 출발점은 의미적 이해(vision-language priors)와 물리적 동역학(world dynamics)이 로봇 조작에서는 상호 보완적이라는 점이다. 기존 통합 모델들은 픽셀 수준 미래 재구성이나 이질적 손실의 동시 최적화로 인해 의미적 표현이 소실되거나 학습 간섭이 발생해 지시 추종 능력과 일반화 성능이 저하되었다. 따라서 핵심은 의미적 추론 능력을 유지하면서 동역학 prior만을 정책으로 전이하는 방식이다. 본 논문의 해결 원리는 미래 예측을 직접 픽셀로 재생성하는 대신 소수의 학습 가능한 포사이트 토큰을 통해 잠재 질의를 수행하고, 그 잠재 코드를 동결된 대형 비디오 생성기(WAN2.2)에 조건으로 주어 비디오 예측 손실을 통해 포사이트 토큰을 최적화하는 것이다. 이 방식은 비디오 생성기의 시공간 동역학 지식을 그대로 활용하여 정책이 실제 장면 변화와 운동 역학을 반영한 행동을 생성할 수 있게 해주며, 학습 시에만 비디오 모델을 사용하므로 추론 비용이 낮다. 결과적으로 이 접근은 의미적 백본의 표상 이동(drift)을 방지하고, 포사이트 토큰이 미래 관련 신호를 압축함으로써 연속 행동 생성부가 더 일관된 미래 정보를 얻도록 만든다. 이 변화는 제로샷 조합 일반화와 장기 단계 실행에서 유의미한 성능 향상으로 연결되며, 실험에서 여섯 개 시뮬레이션 벤치마크와 복수의 실환경 과제에서 우수한 결과로 확인되었다.

전체 접근 방식은 사전학습된 VLM 백본과 경량 유니파이드 전문가를 하나의 Mixture-of-Transformers(MoT)로 결합하는 것이다. 입력으로 다중 뷰 이미지, 언어 지시, 이산화된 고유관절 상태와 제어 모드 토큰을 VLM의 네이티브 포맷에 맞춰 삽입하고, VLM은 VQA와 서브태스크 예측을 계속 수행하면서 의미적 표상을 유지한다. 유니파이드 전문가는 포사이트 토큰과 연속 동작을 생성하는 액션 쿼리 토큰을 추가로 처리하며 일부 풀 어텐션 레이어를 공유해 멀티모달 문맥을 전달받는다. 포사이트 추론 메커니즘은 학습 가능한 M개의 포사이트 토큰 Q^f를 유니파이드 전문가 시퀀스에 추가해 현재 문맥 H_t와 함께 변형기 Φ_θ를 거친 후 얻은 Z_t^f를 WAN 조건 공간 P_WAN으로 사상해 C_t^f를 만든다. 비디오 감독은 WAN의 VAE 인코더로 현재 및 미래 N=4 프레임을 잠재 x_1로 압축하고, 노이즈 x_0와 보간 x_s=(1-s)x_0 + s x_1을 사용해 목표 속도 v_s=x_1 - x_0를 구성한 다음 손실 ℒ_video = E[||u(x_s, C_t^f, s) - v_s||^2]로 표현된다. 이 수식의 의미는 다음과 같다: 원문 수식 ℒ_video = E_{x0,x1,C_t^f,s} || u(x_s, C_t^f, s) - v_s ||^2 이며 변수 x_0는 표준정규분포에서 샘플된 노이즈 잠재, x_1은 실제 비디오 클립의 잠재 표현, C_t^f는 포사이트 토큰으로부터 투사된 WAN 조건이다. 연산 흐름은 현재+미래 영상을 WAN-VAE로부터 x_1로 인코딩 -> 랜덤 노이즈 x_0와 보간계수 s로 x_s 생성 -> 고정된 WAN 변환기 u가 예측한 속도와 목표 속도 v_s의 차이를 제곱평균으로 측정하여 포사이트 토큰 경로를 역전파하는 방식이다. 예시로 s=0.5이면 x_s는 x_0와 x_1의 중간 잠재가 되고 u의 출력이 목표 속도와 근사되도록 포사이트 토큰이 조정된다. 연속 행동 생성은 플로우-매칭 기반으로 구성되어 학습 시 이산 FAST 토큰 대신 실제 연속 행동 덩어리 a_{t:t+H}를 사용한다. 원문 수식 ℒ_action = E_{a,ϵ,τ} || v_θ^{act}(a^τ, H_t, Q^f) - (a - ϵ) ||^2 이며 여기서 a^τ=(1-τ)ϵ + τ a는 노이즈와 목표 행동의 보간, 목표 벡터는 a - ϵ이다. 변수 의미는 ϵ는 노이즈 샘플, τ는 Beta(1.5,1.0) 분포의 보간 시간, v_θ^{act}는 예측된 속도장이다. 처리 흐름은 목표 행동과 노이즈를 보간해 입력으로 넣고, 모델이 예측한 속도장으로 노이즈를 목표 행동 쪽으로 이동시키도록 학습하며, 추론 시에는 초기 노이즈를 Euler 적분으로 단계적으로 갱신해 최종 행동을 샘플링한다. 예시로 K 적분 단계 사용 시 Δτ =1/K 로 τ를 0→1로 증가시키며 각 단계에서 a^{τ+Δτ} = a^{τ} + Δτ·v_θ^{act}(a^{τ}, H_t, Q^f) 연산을 수행한다. 학습 손실은 세 구성요소의 가중합 ℒ_stage2 = ℒ_stage1 + α ℒ_video + β ℒ_action 으로 결합되며 실험에서는 α=1, β=10을 사용해 비디오 감독과 연속 행동 손실의 상대 중요도를 설정했다. 훈련 과정은 두 단계의 프리트레인(각각 300K, 600K 스텝)과 소규모 포스트트레인을 포함하며, 배치 크기, 옵티마이저, 학습률 스케줄(AdamW, lr 5e-5 등)과 같은 하이퍼파라미터가 성능과 안정성에 중요한 역할을 했다.

시뮬레이션 전반에서 InternVLA-A1.5는 여섯 개 벤치마크에서 우수한 성능을 기록했다. LIBERO에서 평균 성공률은 98.9%로 모든 서브스위트에서 상위권을 차지했고 RoboTwin에서는 평균 93.2%를 얻어 깨끗한 환경과 도메인 랜덤화 사이에 거의 성능 저하가 없음을 보였다. SimplerEnv에서는 평균 80.8%로 π0.5 대비 약 23.7 포인트 높은 결과를 기록해 실환경 유사 설정에서도 강한 성능을 확인했다. 제로샷 일반화 측면에서 DOMINO의 제로샷 성공률은 27.7%였고 미세조정 후 29.3%로 개선되어 동적 조작 과제에서 포사이트 감독의 이점이 드러났다. LIBERO-Plus 제로샷 총점은 84.8%로 카메라·조명·레이아웃 교란에 대한 견고성이 확인되었다. 절충된 성능 검증으로 EBench의 Val/Test 분할에서도 InternVLA-A1.5가 최고 성능을 기록해 장기 실내 이동 조작에서도 우수함을 보였다. 실세계 평가에서는 네 가지 과제에서 비교를 수행했고 특히 장기 화학 절차(MOF)에서 InternVLA-A1.5는 76.4%의 성공률을 기록해 π0.5의 29.3%와 Motus의 0%에 비해 큰 격차로 앞섰다. 세 가지 지시-추종 과제의 홀드아웃 바인딩 성능에서도 InternVLA-A1.5가 가장 높은 성공률을 얻어 조합적 일반화 능력이 실환경에서도 유지됨이 확인되었다. 추론 지연 측면에서는 비디오 생성기를 추론 단계에서 제거함으로써 RTX 5090에서 정적 그래프·플래시 어텐션 조합으로 한 스텝당 약 0.1초의 실시간 제어 속도를 확보했다.

전체 아키텍처는 Qwen-3.5 기반의 VLM 백본과 동일한 아키텍처 청사진을 갖되 히든 차원을 축소한 약 460M 파라미터의 유니파이드 전문가를 결합한 Mixture-of-Transformers 구조로 구성되었다. Qwen-3.5 백본은 3개의 Gated DeltaNet 선형 어텐션 계층과 1개의 표준 풀 어텐션 계층을 교차 배치하는 하이브리드 어텐션을 사용하며, 유니파이드 전문가는 풀 어텐션 계층을 통해 VLM과 상호작용하고 자체 Gated DeltaNet 계층을 통해 모달리티별 처리 능력을 유지한다. 포사이트 토큰 수는 50개로 설정되어 있으며 이 토큰의 출력은 WAN2.2-5B 비디오 생성기의 조건으로 사영되어 비디오 수준의 플로우 매칭 손실로 감독된다. 액션 생성부는 학습 단계에서 플로우-매칭 목표를 사용해 연속 행동 덩어리(액션 청크 길이 50)를 모델링하고, 학습 시에는 Beta(1.5,1.0) 분포에서 보간 파라미터 τ를 샘플해 노이즈와 목표 행동을 보간한 입력으로 속도장 v_θ^{act}를 회귀한다. 추론 시에는 초기 가우시안 노이즈로부터 Euler 적분을 통해 속도장을 적분하여 최종 행동을 샘플링하며 이 과정은 비디오 생성기를 필요로 하지 않아 추론 비용이 낮다. 이산 행동 감독은 FAST 토크나이저(행동 어휘 크기 2048)를 사용해 VLM 어휘에 행동 토큰을 추가함으로써 동일한 다음-토큰 교차엔트로피로 병렬 감독이 가능하다. 학습 하이퍼파라미터는 Stage1/Stage2에서 AdamW, 학습률 5e-5, 배치 1024, Stage1 300k 스텝, Stage2 600k 스텝, 포스트트레인 60k 스텝(5e-5→5e-6 cosine decay)을 사용했고 모든 훈련은 bfloat16으로 수행되었다. 손실 가중치는 ℒ_stage2 = ℒ_stage1 + α ℒ_video + β ℒ_action 에서 α=1, β=10을 사용했다. 데이터 측면에서는 로봇 코퍼스 1.2M 에피소드(861M 프레임)와 멀티모달 3M 샘플을 그룹화된 샘플링과 Re-Mix 기반 가중치로 결합해 다양한 구현체와 장면을 균형 있게 학습에 반영했다.

논문에서 명시한 첫 번째 한계는 포사이트 감독이 하나의 액션 청크 길이에만 걸쳐 단기적 미래 정보를 제공한다는 점으로, 이로 인해 정책은 지역적 동역학 prior만 흡수하고 장기적 상상이나 명시적 계획 기능은 아직 확보되지 않았다. 두 번째 한계는 비디오 생성기가 학습 동안 동결된 상태로 사용되어 생성기의 사전학습 분포가 실제 조작 장면을 충분히 포괄하지 못하면 전이되는 prior가 제한될 수 있다는 점이다. 또한 대규모 코퍼스와 긴 학습 스케줄을 필요로 하기 때문에 계산 자원이 제한된 환경에서는 동일한 성능을 재현하기 어려울 수 있다는 점이 암묵적인 제약으로 남아 있다.