InternVLA-A1.5: 이해·잠재 예측·행동을 통합한 조합적 일반화

InternVLA-A1.5는 VLM 백본을 유지하면서 학습 전용의 소수 포사이트 토큰을 WAN2.2로 감독하여 픽셀 생성 없이 세계 모델의 동적 사전지식을 정책에 전이해 시뮬레이션과 실환경에서 우수한 조합적 일반화와 장기 실행 성능을 달성했다.

왜 중요한가

비전과 언어의 의미 이해 능력과 물리적 동역학을 함께 갖춘 단일 정책은 로봇이 언어 지시에 따라 다양한 객체와 환경에서 유연하게 작동하는 데 필수적이다. 기존 통합 접근법은 픽셀 수준 예측 학습 때문에 계산 비용과 학습 간섭이 커지며, 사전학습된 비디오 생성기의 동역학 지식을 활용하지 못해 일반화에 한계가 있었다. InternVLA-A1.5는 소수의 학습 가능한 포사이트 토큰과 동결된 비디오 생성기 감독을 결합해 픽셀 생성 부담을 피하면서 세계 모델의 동적 prior를 정책으로 옮겨 현실 환경에서의 제어와 제로샷 조합 일반화를 향상시켰다.

핵심 기여

VLM 백본을 보존한 동시 학습 파이프라인

사전학습된 Qwen-3.5 기반 VLM을 정책 학습 중에도 VQA, 서브태스크 예측, FAST 액션 토큰 목적으로 계속 학습해 의미 기반 추론과 명령-지시 성능을 유지 및 강화했다. 이로 인해 행동 예측과 시각질문-응답을 동일 어휘와 단일 다음-토큰 손실로 통합하여 학습 안정성이 개선되었다. FAST 토큰 어휘(크기 2048)가 VLM 어휘에 합쳐져 이산 토큰 감독과 연속 제어 모듈 간의 간섭을 줄였다.

포사이트 토큰을 통한 잠재 예측으로 픽셀 생성 회피

소수의 학습 가능한 포사이트 토큰을 도입하여 현재 멀티모달 컨텍스트를 조회하고 과제 관련 미래 정보를 압축된 잠재 코드로 추출하도록 설계했다. 이 잠재 코드는 동결된 WAN2.2-5B 비디오 생성기의 조건으로 사용되어 비디오 예측 손실을 통해 포사이트 토큰만 업데이트하므로 정책은 픽셀 수준 생성 없이 세계 모델의 시공간 동역학 prior를 상속받았다. 비디오 생성기는 학습 시에만 사용되고 추론 시 완전히 제거되어 실시간 제어를 유지했다.

유니파이드 전문가와 Mixture-of-Transformers 아키텍처

경량 유니파이드 전문가는 VLM과 동일한 아키텍처 틀을 공유하나 히든 차원을 줄여(약 460M 파라미터) 연산 효율을 확보했고 일부 풀 어텐션 계층을 통해 VLM과 정보를 주고받도록 구성되었다. 포사이트 토큰으로부터 생성된 임베딩은 연속 동작 예측을 담당하는 플로우-매칭 헤드의 조건으로 재사용되어 미래 인지와 행동생성을 일관된 프레임워크로 결합했다. 어텐션 마스킹 패턴은 VLM의 인과적 토큰 흐름과 전문가는 그룹별 인과성 및 그룹 내부 양방향성을 유지하도록 설계되어 자동회귀 언어 모델링과 병렬적 연속 제어를 동시에 지원했다.

대규모 멀티스트림 데이터와 샘플링 전략

로봇 조작 코퍼스 1.2M 에피소드(861M 프레임)와 멀티모달 InternVLA-M1의 약 3M QA 샘플을 결합해 의미 이해와 동작 학습을 병렬로 강화했다. 프레임 수 격차에 대응해 그룹화된 샘플링을 적용하고 Re-Mix 기반 가중치 조정으로 소규모 실환경 데이터의 기여도를 올려 시뮬-투-실 일반화가 향상되도록 했다. 전체 배치는 로봇 스트림과 멀티모달 스트림을 0.15:0.85 비율로 섞어 VLM 지식을 주로 유지하면서 로봇 행동과 포사이트 학습을 병렬로 진행했다.

핵심 아이디어 이해하기

문제 출발점은 의미적 이해(vision-language priors)와 물리적 동역학(world dynamics)이 로봇 조작에서는 상호 보완적이라는 점이다. 기존 통합 모델들은 픽셀 수준 미래 재구성이나 이질적 손실의 동시 최적화로 인해 의미적 표현이 소실되거나 학습 간섭이 발생해 지시 추종 능력과 일반화 성능이 저하되었다. 따라서 핵심은 의미적 추론 능력을 유지하면서 동역학 prior만을 정책으로 전이하는 방식이다. 본 논문의 해결 원리는 미래 예측을 직접 픽셀로 재생성하는 대신 소수의 학습 가능한 포사이트 토큰을 통해 잠재 질의를 수행하고, 그 잠재 코드를 동결된 대형 비디오 생성기(WAN2.2)에 조건으로 주어 비디오 예측 손실을 통해 포사이트 토큰을 최적화하는 것이다. 이 방식은 비디오 생성기의 시공간 동역학 지식을 그대로 활용하여 정책이 실제 장면 변화와 운동 역학을 반영한 행동을 생성할 수 있게 해주며, 학습 시에만 비디오 모델을 사용하므로 추론 비용이 낮다. 결과적으로 이 접근은 의미적 백본의 표상 이동(drift)을 방지하고, 포사이트 토큰이 미래 관련 신호를 압축함으로써 연속 행동 생성부가 더 일관된 미래 정보를 얻도록 만든다. 이 변화는 제로샷 조합 일반화와 장기 단계 실행에서 유의미한 성능 향상으로 연결되며, 실험에서 여섯 개 시뮬레이션 벤치마크와 복수의 실환경 과제에서 우수한 결과로 확인되었다.

방법론

전체 접근 방식은 사전학습된 VLM 백본과 경량 유니파이드 전문가를 하나의 Mixture-of-Transformers(MoT)로 결합하는 것이다. 입력으로 다중 뷰 이미지, 언어 지시, 이산화된 고유관절 상태와 제어 모드 토큰을 VLM의 네이티브 포맷에 맞춰 삽입하고, VLM은 VQA와 서브태스크 예측을 계속 수행하면서 의미적 표상을 유지한다. 유니파이드 전문가는 포사이트 토큰과 연속 동작을 생성하는 액션 쿼리 토큰을 추가로 처리하며 일부 풀 어텐션 레이어를 공유해 멀티모달 문맥을 전달받는다. 포사이트 추론 메커니즘은 학습 가능한 M개의 포사이트 토큰 Q^f를 유니파이드 전문가 시퀀스에 추가해 현재 문맥 H_t와 함께 변형기 Φ_θ를 거친 후 얻은 Z_t^f를 WAN 조건 공간 P_WAN으로 사상해 C_t^f를 만든다. 비디오 감독은 WAN의 VAE 인코더로 현재 및 미래 N=4 프레임을 잠재 x_1로 압축하고, 노이즈 x_0와 보간 x_s=(1-s)x_0 + s x_1을 사용해 목표 속도 v_s=x_1 - x_0를 구성한 다음 손실 ℒ_video = E[||u(x_s, C_t^f, s) - v_s||^2]로 표현된다. 이 수식의 의미는 다음과 같다: 원문 수식 ℒ_video = E_{x0,x1,C_t^f,s} || u(x_s, C_t^f, s) - v_s ||^2 이며 변수 x_0는 표준정규분포에서 샘플된 노이즈 잠재, x_1은 실제 비디오 클립의 잠재 표현, C_t^f는 포사이트 토큰으로부터 투사된 WAN 조건이다. 연산 흐름은 현재+미래 영상을 WAN-VAE로부터 x_1로 인코딩 -> 랜덤 노이즈 x_0와 보간계수 s로 x_s 생성 -> 고정된 WAN 변환기 u가 예측한 속도와 목표 속도 v_s의 차이를 제곱평균으로 측정하여 포사이트 토큰 경로를 역전파하는 방식이다. 예시로 s=0.5이면 x_s는 x_0와 x_1의 중간 잠재가 되고 u의 출력이 목표 속도와 근사되도록 포사이트 토큰이 조정된다. 연속 행동 생성은 플로우-매칭 기반으로 구성되어 학습 시 이산 FAST 토큰 대신 실제 연속 행동 덩어리 a_{t:t+H}를 사용한다. 원문 수식 ℒ_action = E_{a,ϵ,τ} || v_θ^{act}(a^τ, H_t, Q^f) - (a - ϵ) ||^2 이며 여기서 a^τ=(1-τ)ϵ + τ a는 노이즈와 목표 행동의 보간, 목표 벡터는 a - ϵ이다. 변수 의미는 ϵ는 노이즈 샘플, τ는 Beta(1.5,1.0) 분포의 보간 시간, v_θ^{act}는 예측된 속도장이다. 처리 흐름은 목표 행동과 노이즈를 보간해 입력으로 넣고, 모델이 예측한 속도장으로 노이즈를 목표 행동 쪽으로 이동시키도록 학습하며, 추론 시에는 초기 노이즈를 Euler 적분으로 단계적으로 갱신해 최종 행동을 샘플링한다. 예시로 K 적분 단계 사용 시 Δτ =1/K 로 τ를 0→1로 증가시키며 각 단계에서 a^{τ+Δτ} = a^{τ} + Δτ·v_θ^{act}(a^{τ}, H_t, Q^f) 연산을 수행한다. 학습 손실은 세 구성요소의 가중합 ℒ_stage2 = ℒ_stage1 + α ℒ_video + β ℒ_action 으로 결합되며 실험에서는 α=1, β=10을 사용해 비디오 감독과 연속 행동 손실의 상대 중요도를 설정했다. 훈련 과정은 두 단계의 프리트레인(각각 300K, 600K 스텝)과 소규모 포스트트레인을 포함하며, 배치 크기, 옵티마이저, 학습률 스케줄(AdamW, lr 5e-5 등)과 같은 하이퍼파라미터가 성능과 안정성에 중요한 역할을 했다.

주요 결과

시뮬레이션 전반에서 InternVLA-A1.5는 여섯 개 벤치마크에서 우수한 성능을 기록했다. LIBERO에서 평균 성공률은 98.9%로 모든 서브스위트에서 상위권을 차지했고 RoboTwin에서는 평균 93.2%를 얻어 깨끗한 환경과 도메인 랜덤화 사이에 거의 성능 저하가 없음을 보였다. SimplerEnv에서는 평균 80.8%로 π0.5 대비 약 23.7 포인트 높은 결과를 기록해 실환경 유사 설정에서도 강한 성능을 확인했다. 제로샷 일반화 측면에서 DOMINO의 제로샷 성공률은 27.7%였고 미세조정 후 29.3%로 개선되어 동적 조작 과제에서 포사이트 감독의 이점이 드러났다. LIBERO-Plus 제로샷 총점은 84.8%로 카메라·조명·레이아웃 교란에 대한 견고성이 확인되었다. 절충된 성능 검증으로 EBench의 Val/Test 분할에서도 InternVLA-A1.5가 최고 성능을 기록해 장기 실내 이동 조작에서도 우수함을 보였다. 실세계 평가에서는 네 가지 과제에서 비교를 수행했고 특히 장기 화학 절차(MOF)에서 InternVLA-A1.5는 76.4%의 성공률을 기록해 π0.5의 29.3%와 Motus의 0%에 비해 큰 격차로 앞섰다. 세 가지 지시-추종 과제의 홀드아웃 바인딩 성능에서도 InternVLA-A1.5가 가장 높은 성공률을 얻어 조합적 일반화 능력이 실환경에서도 유지됨이 확인되었다. 추론 지연 측면에서는 비디오 생성기를 추론 단계에서 제거함으로써 RTX 5090에서 정적 그래프·플래시 어텐션 조합으로 한 스텝당 약 0.1초의 실시간 제어 속도를 확보했다.

기술 상세

전체 아키텍처는 Qwen-3.5 기반의 VLM 백본과 동일한 아키텍처 청사진을 갖되 히든 차원을 축소한 약 460M 파라미터의 유니파이드 전문가를 결합한 Mixture-of-Transformers 구조로 구성되었다. Qwen-3.5 백본은 3개의 Gated DeltaNet 선형 어텐션 계층과 1개의 표준 풀 어텐션 계층을 교차 배치하는 하이브리드 어텐션을 사용하며, 유니파이드 전문가는 풀 어텐션 계층을 통해 VLM과 상호작용하고 자체 Gated DeltaNet 계층을 통해 모달리티별 처리 능력을 유지한다. 포사이트 토큰 수는 50개로 설정되어 있으며 이 토큰의 출력은 WAN2.2-5B 비디오 생성기의 조건으로 사영되어 비디오 수준의 플로우 매칭 손실로 감독된다. 액션 생성부는 학습 단계에서 플로우-매칭 목표를 사용해 연속 행동 덩어리(액션 청크 길이 50)를 모델링하고, 학습 시에는 Beta(1.5,1.0) 분포에서 보간 파라미터 τ를 샘플해 노이즈와 목표 행동을 보간한 입력으로 속도장 v_θ^{act}를 회귀한다. 추론 시에는 초기 가우시안 노이즈로부터 Euler 적분을 통해 속도장을 적분하여 최종 행동을 샘플링하며 이 과정은 비디오 생성기를 필요로 하지 않아 추론 비용이 낮다. 이산 행동 감독은 FAST 토크나이저(행동 어휘 크기 2048)를 사용해 VLM 어휘에 행동 토큰을 추가함으로써 동일한 다음-토큰 교차엔트로피로 병렬 감독이 가능하다. 학습 하이퍼파라미터는 Stage1/Stage2에서 AdamW, 학습률 5e-5, 배치 1024, Stage1 300k 스텝, Stage2 600k 스텝, 포스트트레인 60k 스텝(5e-5→5e-6 cosine decay)을 사용했고 모든 훈련은 bfloat16으로 수행되었다. 손실 가중치는 ℒ_stage2 = ℒ_stage1 + α ℒ_video + β ℒ_action 에서 α=1, β=10을 사용했다. 데이터 측면에서는 로봇 코퍼스 1.2M 에피소드(861M 프레임)와 멀티모달 3M 샘플을 그룹화된 샘플링과 Re-Mix 기반 가중치로 결합해 다양한 구현체와 장면을 균형 있게 학습에 반영했다.

한계점

논문에서 명시한 첫 번째 한계는 포사이트 감독이 하나의 액션 청크 길이에만 걸쳐 단기적 미래 정보를 제공한다는 점으로, 이로 인해 정책은 지역적 동역학 prior만 흡수하고 장기적 상상이나 명시적 계획 기능은 아직 확보되지 않았다. 두 번째 한계는 비디오 생성기가 학습 동안 동결된 상태로 사용되어 생성기의 사전학습 분포가 실제 조작 장면을 충분히 포괄하지 못하면 전이되는 prior가 제한될 수 있다는 점이다. 또한 대규모 코퍼스와 긴 학습 스케줄을 필요로 하기 때문에 계산 자원이 제한된 환경에서는 동일한 성능을 재현하기 어려울 수 있다는 점이 암묵적인 제약으로 남아 있다.

실무 활용

InternVLA-A1.5는 학습 시 동결된 비디오 생성기로부터 동역학 prior를 흡수하지만 추론 시에는 해당 브랜치를 제거하므로 실시간 폐쇄루프 제어에 적합하다. 배치 및 하드웨어 설정에 따라 다르나 단일 NVIDIA RTX 5090 환경에서 한 추론 스텝이 약 0.1초로 보고되어 산업용 로봇 통합에서 실시간 요구를 만족할 가능성이 높다. 학습에는 대규모 에피소드와 멀티모달 데이터가 필요하므로 사내 데이터 파이프라인과 대형 GPU 클러스터가 전제 조건이다.

언어 지시에 기반한 다목적 로봇 조작 시스템에서 다양한 객체·타겟 조합을 제로샷으로 처리하는 정책 초기화용 베이스라인으로 사용 가능하다.
장기 단계가 포함된 실험실 절차나 다중 서브태스크를 가진 조립 공정에서 서브태스크 예측과 연동된 안정적 실행을 제공하는 제어 모듈로 활용할 수 있다.
시뮬레이션으로 대규모 사전학습을 수행한 뒤 소량의 실환경 시연으로 파인튜닝해 sim-to-real 전이를 가속하는 파이프라인에서 프리트레인된 표현을 전이하는 용도로 사용 가능하다.

코드 공개 여부: 미확인

키워드

VLM(vision-language model)latent foresight(잠재 포사이트)flow-matching(연속 행동 샘플링)WAN2.2(동결된 비디오 생성기)FAST tokenizer(행동 이산화)

용어 해설

잠재 예측(Latent Foresight): — 미래 장면 정보를 픽셀 이미지 대신 작은 잠재 코드로 압축해 정책에 제공하는 방법으로, 현재 관찰과 언어 맥락을 통해 예측해야 할 미래 특징을 추출하고 이를 행동 생성에 조건으로 사용함으로써 픽셀 수준 생성 비용을 회피한다.
포사이트 토큰(Foresight Tokens): — 모델 내부에 학습 가능한 소수의 슬롯 토큰으로 현재 멀티모달 컨텍스트를 조회하여 미래 관련 잠재 표현을 생성하며, 동결된 비디오 생성기의 조건 입력으로 사용되어 동역학적 사전지식을 정책으로 전이시키는 인터페이스 역할을 한다.
플로우 매칭(Flow Matching): — 연속적 행동 덩어리의 확률분포를 직접 모델링하기 위해 노이즈에서 목표 행동으로의 속도장을 학습하는 방법으로, 학습 시 노이즈와 목표 행동의 보간을 사용해 예측해야 할 속도 벡터를 회귀함으로써 비자동회귀적 연속 제어 샘플링을 가능하게 한다.
변형기 혼합 구조(Mixture-of-Transformers): — 사전학습된 VLM 백본과 별도이지만 아키텍처 패턴을 공유하는 경량 유니파이드 전문가를 함께 운용하는 설계로, 일부 풀 어텐션 계층은 공유하고 나머지 계층은 모듈별로 분리해 의미적 이해와 제어 신호를 병렬로 유지한다.
FAST 토크나이저(FAST tokenizer): — 연속 행동을 고정 길이의 토큰 시퀀스로 변환하는 토크나이저로, 작업-지향적 행동 덩어리를 VLM 어휘에 추가해 다음 토큰 예측 손실로 행동과 서브태스크를 동시 감독할 수 있게 한다.

InternVLA-A1.5: 이해·잠재 예측·행동을 통합한 조합적 일반화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

GigaBrain-0.7의 3체계 로봇 지능 확장

Generalist GEN-1.5: 로보틱스 파운데이션 모델의 GPT-3 모먼트와 피지컬 프롬프팅

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

GigaBrain-0.7의 3체계 로봇 지능 확장

Generalist GEN-1.5: 로보틱스 파운데이션 모델의 GPT-3 모먼트와 피지컬 프롬프팅