ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

왜 중요한가

로봇 제어는 행동 라벨이 붙은 실제 궤적을 대규모로 수집하기 어렵다는 병목에 묶여 있습니다. ZimaBlue는 라벨 없는 egocentric video에서 물체와 접촉의 시각적 변화를 먼저 학습한 뒤, 서로 다른 로봇의 행동 데이터와 target robot 데이터로 제어를 정렬해 데이터 확장 경로를 마련합니다. 동일한 DROID post-training 조건에서 video 규모를 300시간에서 120,000시간으로 늘리자 zero-shot 성공률이 36.1%에서 77.8%로 상승했습니다.

핵심 기여

Egocentric video 중심의 3단계 학습

Stage I에서 행동 라벨 없는 human·robot egocentric video로 causal visual dynamics를 학습하고, Stage II에서 6,000시간의 multi-embodiment robot trajectory로 영상과 행동을 정렬한 뒤, Stage III에서 target robot에 맞춰 post-training합니다.

100차원 통합 state-action 표현

서로 다른 로봇의 end-effector, gripper, joint, torso, mobile base, dexterous hand 인터페이스를 100개 의미 슬롯으로 통합하고, 정의되지 않은 좌표는 zero-fill과 validity mask로 학습에서 제외합니다.

Slow-Fast 비동기 제어 구조

5B Slow DiT가 영상 중심의 장기 시공간 표현을 만들고 0.5B Fast DiT가 Slow branch의 video K/V cache와 최신 관측·상태를 결합해 고주파 행동을 생성합니다.

실제 로봇과 시뮬레이션에서의 일반화

12개 real-robot zero-shot task에서 full model이 77.8%의 평균 성공률을 기록했으며, RoboTwin 2.0에서는 Clean 94.7%, Randomized 94.3%, RoboCasa365에서는 Composite-Unseen 16.5%를 기록했습니다.

핵심 아이디어 이해하기

일반적인 VLA는 관측과 언어를 행동으로 직접 매핑하므로, 행동 라벨이 있는 로봇 궤적에서 공간 관계와 물리적 결과까지 함께 배워야 합니다. 그러나 새로운 물체를 잡거나 접촉이 발생한 뒤의 장면 변화를 충분히 경험하려면 많은 라벨 데이터가 필요합니다. ZimaBlue는 Transformer의 영상 예측 능력을 활용해 먼저 과거 관측과 언어로부터 미래 시각 상태를 예측하고, 그 미래를 실현하는 행동을 나중에 연결합니다.

Stage I에서는 영상의 과거 블록을 causal context로 사용하고 미래 영상 블록을 noise에서 복원합니다. 입력은 RGB 영상과 선택적 언어 지시이며, 처리 과정은 VAE 인코딩, temporal block 구성, noise 추가, DiT의 denoising velocity 예측 순서로 진행됩니다. 출력은 물체 이동과 접촉 변화가 반영된 future video latent이며, 행동 라벨 없이도 시각적 동역학 표현을 형성합니다.

Stage II에서는 noisy video tokens와 noisy action tokens가 같은 Self-Attention 안에서 서로 참조합니다. 영상 경로는 특정 행동이 어떤 미래 장면을 만드는지 학습하고, 행동 경로는 원하는 시각 변화에 필요한 제어 청크를 추정합니다. 따라서 영상 표현이 단순한 보기 좋은 프레임 복원이 아니라 grasp, transport, stacking 같은 motor-relevant 변화와 연결됩니다.

추론 시에는 큰 Slow 모델이 매 순간 전체 영상을 생성하지 않습니다. Slow DiT가 여러 층의 video K/V를 저장하면 Fast DiT의 action query가 자신의 최신 관측·상태 토큰과 저장된 K/V를 함께 참조합니다. 이 구조는 장기적인 world representation은 유지하면서 최신 RGB 입력에 따른 짧은 행동 수정은 빠르게 수행하게 합니다.

방법론

ZimaBlue의 데이터 피라미드는 video pre-training, video-action mid-training, target-robot post-training의 순서로 구성됩니다. Stage I은 EPIC-KITCHENS, Egocentric-100K와 여러 robot·simulation video를 사용해 causal embodied video prior를 학습하고, Stage II는 DROID, AgiBot, Galaxea, RoboMIND2-Franka의 synchronized video·state·action·language를 결합합니다. Stage III에서는 target embodiment의 제어 공간에 맞춰 Slow branch를 조정한 뒤 Slow를 고정하고 Fast branch를 학습합니다.

로봇마다 다른 좌표계를 통일하기 위해 state와 action을 100차원 semantic slot에 배치합니다. 예를 들어 left end-effector는 3차원 위치와 연속적인 6D rotation으로 9차원을 차지하고, left arm joints는 7차원을 차지합니다. 각 행동 청크의 첫 상태를 기준점으로 삼아 입력값 $p_0, R_0$ 와 목표값 $p_h, R_h$ 에서 상대 이동과 회전을 계산합니다. 상대 이동은 $Delta p_h = R_0^{-1}(p_h-p_0)$ , 상대 회전은 $Delta R_h = R_0^{-1}R_h$ 로 얻습니다. 여기서 $p$ 는 3D 위치, $R$ 은 회전, $h$ 는 청크 안의 미래 시점입니다. 예를 들어 기준점에서 x축 방향으로 0.1m 이동하면 상대 이동 벡터에 해당 축의 0.1이 들어가며, 로봇의 절대 위치가 달라도 같은 의미의 행동으로 처리됩니다.

Flow Matching에서는 깨끗한 영상 latent $z$ 와 Gaussian noise $ϵ$ 를 noise level $σ_t$ 로 섞어 $z_t=(1-σ_t)z+σ_tϵ$ 를 만들고, 목표 velocity를 $v=ϵ-z$ 로 둡니다. 모델은 noisy 입력 $z_t$ , 과거 causal context, 언어 조건을 받아 $hat{v}_θ$ 를 예측하며, 유효 영상 토큰에 대해 $mathcal{L}_{vid}=E[||m_{vid}⊙(hat{v}_θ-v)||_2^2]$ 를 계산합니다. $m_{vid}$ 는 시간과 카메라 view의 유효성 mask이므로 없는 카메라 영역은 손실에 기여하지 않습니다. Mid-training에서는 action에도 같은 방식으로 noise를 섞고, 전체 손실을 $mathcal{L}_{sup}^S=λ_{vid}mathcal{L}_{vid}+λ_{act}mathcal{L}_{act}$ 로 결합합니다.

Fast branch는 Slow DiT의 첫 12개 층에서 나온 video K/V cache를 사용합니다. Fast의 action query는 최신 observation latent, proprioceptive state, language embedding, noisy action chunk를 처리하면서 Slow K/V에 cross-attention을 수행합니다. 학습 중에는 실행된 prefix를 clean 상태로 teacher-forcing하고, 아직 실행하지 않은 suffix만 noise를 넣어 예측합니다. 배포에서는 Slow와 Fast를 서로 다른 주기로 실행하고, 새 Fast 결과가 도착하면 이미 실행 중인 prefix는 유지한 채 미래 action만 교체합니다.

배포 가속에는 비동기 inference, Distribution Matching Distillation, Torch compile을 함께 사용합니다. DMD는 Slow의 영상·행동 공동 생성과 Fast의 행동 생성을 각각 8회 DiT 평가에서 2회로 줄입니다. teacher에서 얻은 clean-sample 추정치와 student의 추정치 차이를 valid 차원 평균으로 정규화해 student 생성 샘플에 대한 방향으로 사용하고, teacher·score 모델은 gradient에서 분리합니다.

주요 결과

동일한 DROID post-training에서 target-robot baseline의 전체 zero-shot 성공률은 36.1%였습니다. 6,000시간의 multi-embodiment data를 추가하면 46.1%, 60,000시간의 egocentric video를 더하면 66.9%, 120,000시간까지 확장하면 77.8%로 상승했습니다. Standard suite에서는 87.9%, Perturbed suite에서는 57.5%를 기록했으며, 후자는 unseen background, distractor, dynamic illumination을 포함합니다. 특히 microwave closing은 0/10에서 9/10, air-fryer opening은 6/10에서 9/10으로 개선됐습니다.

Egocentric video의 효과는 장면 변화와 다단계 작업에서 크게 나타났습니다. 6만 시간 추가 후 bowl stacking은 2/10에서 7/10, bread transfer는 4/10에서 10/10, Toys는 16/30에서 28/30으로 상승했습니다. 60,000시간에서 120,000시간으로 늘릴 때 Standard는 5.0 percentage points 상승했지만 Perturbed는 22.5 percentage points 상승해 시각적 분포가 바뀐 조건에서 더 큰 이득을 냈습니다.

Slow-Fast 구조는 Standard 성공률을 80.8%에서 87.9%로, Perturbed 성공률을 30.0%에서 57.5%로 높였습니다. 8-step Slow의 end-to-end latency 449.6ms는 비동기 Dual-System에서 145.6ms가 되었고, DMD와 compilation을 적용한 모델은 33.0ms로 줄어 13.6배의 전체 speedup을 기록했습니다. 이때 전체 task-macro 성공률은 77.8%에서 75.0%로 2.8 percentage points 낮아졌습니다.

시뮬레이션에서는 LIBERO-Plus zero-shot 평균 86.7%, supervised fine-tuning 평균 92.0%, RoboTwin 2.0 평균 94.5%를 기록했습니다. RoboCasa365에서는 Atomic-Seen 78.1%, Composite-Seen 50.4%, Composite-Unseen 16.5%, 전체 평균 49.5%였으며, Composite-Unseen은 ABot-M0.6의 7.9%보다 높았습니다. 다만 real-robot Perturbed 각 task는 5/10에서 7/10 수준에 머물렀고, LIBERO-Plus에서는 camera viewpoint zero-shot 성능 58.1%가 주요 약점으로 남았습니다.

기술 상세

Slow DiT는 5B 파라미터 규모의 video-centric world model이며 Fast DiT는 0.5B 규모의 action generation branch입니다. Slow는 RGB observation, proprioceptive state, language instruction, noisy future video와 noisy action을 unified token sequence로 처리합니다. 각 층에서 video stream의 K/V를 저장하고, Fast는 첫 12개 Slow layer에 대응하는 K/V를 받아 action query의 조건으로 사용합니다. Slow의 auxiliary action supervision은 배포용 출력이 아니라 video dynamics와 실제 행동 시퀀스의 semantic alignment를 강화하는 역할입니다.

Video pre-training에서는 single-view human clip과 multi-view robot clip을 공통 three-row vertical canvas에 배치합니다. 없는 view는 padding하고 view-validity mask를 전파해 padding 영역이 Attention과 Flow Matching loss에 참여하지 않도록 합니다. 기본 샘플은 K=4 temporal chunks에 대해 8K+1=33 frames를 사용하며, dummy action stream은 24-step horizon을 가지지만 이 단계에서는 행동 손실을 계산하지 않습니다.

Mid-training의 action chunk는 24개 step이며, video와 action의 noise level을 denoising step 안에서 맞춥니다. noisy future video와 noisy future action은 서로 Attention하고 clean history, state, language를 함께 조건으로 사용합니다. state와 action의 inactive slot은 zero-fill한 뒤 validity mask로 손실에서 제외하므로 DROID의 17개 유효 좌표와 bimanual robot의 더 넓은 인터페이스를 동일한 100차원 공간에서 다룰 수 있습니다.

Fast branch 학습은 실행 중간의 offset $δ∈{0,…,H-1}$ 와 prefix 길이 $p$ 를 무작위로 선택합니다. Fast는 offset 이후의 최신 observation과 state를 받아 shifted action chunk를 예측하고, $i<p$ 인 prefix는 원래 action을 그대로 입력하며 $i≥p$ 인 suffix만 $(1-σ_t^{act})a_i+σ_t^{act}η_i$ 로 noise를 섞습니다. 이 입력·mask 설계가 이전 청크와 새 청크 사이의 연속성을 보존하면서 실행 중 보정을 가능하게 합니다.

DMD 단계에서는 Slow와 Fast의 8-step teacher를 각각 2-step student로 압축합니다. Slow student는 미래 video latent와 action을 함께 유지하고, Fast student는 action만 생성합니다. 두 단계 모두 supervised Flow Matching loss를 유지한 채 frozen real-score model과 online fake-score model의 clean-sample 추정치 차이를 추가 손실로 사용하며, 배포 시에는 score model을 제거하고 2-step Slow·Fast student만 남깁니다.

한계점

논문은 Perturbed real-robot task에서 full model도 각 과제 5/10~7/10 수준에 머물렀으며, 남은 실패가 중간 상태 이후 진행 중단, target displacement, contact loss, tablecloth engagement 같은 local interaction error로 나타났다고 밝힙니다. LIBERO-Plus에서는 camera viewpoint 변화에 대한 zero-shot 성능이 58.1%로, SFT 후 95.4%와 차이가 컸습니다. 저자들은 progress-aware replanning, responsive corrective control, 더 다양한 평가와 pre-training data 확장을 후속 과제로 둡니다.

실무 활용

ZimaBlue는 여러 로봇과 egocentric video를 활용해 target robot의 행동 라벨 의존도를 낮추는 학습 파이프라인입니다. GitHub 저장소가 공개되어 있으며, 논문은 NVIDIA RTX 4090에서 DMD와 compilation을 적용한 33.0ms control loop를 보고했습니다.

서로 다른 로봇의 팔·그리퍼·관절 데이터를 통합한 manipulation policy 학습
행동 라벨이 없는 human egocentric video를 활용한 물체 상호작용과 장면 변화 사전학습
최신 RGB 관측으로 접촉 오류를 보정하는 비동기 closed-loop 제어
새로운 배경·조명·방해물 조건을 포함한 zero-shot 조작 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

World Action Models(WAMs)causal embodied video pre-trainingvideo-action mid-trainingunified action representationSlow-Fast dual-system architectureasynchronous inferencezero-shot evaluation

용어 해설

World Action Models(World Action Models (WAMs)): — World Action Models는 관측된 장면의 미래 시각 상태와 그 상태를 만들 행동을 함께 예측하는 로봇 모델입니다. 영상 토큰과 행동 토큰을 공동 생성해 물체 이동, 접촉, 실패 같은 물리적 변화와 제어 명령 사이의 인과 관계를 학습하며, 단순한 행동 모방보다 새로운 작업과 환경에 대한 일반화를 목표로 합니다.
Flow Matching: — Flow Matching은 노이즈가 섞인 데이터에서 원래 데이터로 이동하는 속도장을 학습하는 생성 모델 학습 방식입니다. ZimaBlue는 깨끗한 영상·행동과 Gaussian noise를 보간한 뒤 noise에서 데이터로 향하는 차이를 예측하고, 유효 토큰에 대한 제곱 오차를 줄여 미래 영상과 행동을 복원합니다.
K/V 캐시(K/V Cache): — K/V Cache는 Attention에서 계산한 Key와 Value를 저장해 이후 토큰 처리에 재사용하는 메모리입니다. ZimaBlue의 Slow DiT는 영상 토큰에서 여러 층의 K/V를 추출하고 Fast DiT가 이를 참조하므로, 매 제어 단계마다 전체 미래 영상을 다시 생성하지 않고 최신 관측에 맞춰 행동을 갱신합니다.
Diffusion Step Distillation(Diffusion-Step Distillation): — Diffusion Step Distillation은 여러 번의 denoising 과정을 소수의 단계로 압축하는 방법입니다. ZimaBlue는 Distribution Matching Distillation으로 8회 DiT 평가를 Slow와 Fast 각각 2회로 줄이며, teacher와 student가 추정한 깨끗한 샘플의 분포 차이를 학습 신호로 사용해 생성 품질과 제어 속도의 균형을 맞춥니다.
Real-Time Chunking(Real-Time Chunking (RTC)): — Real-Time Chunking은 이전 행동 청크에서 이미 실행하기로 한 prefix를 유지하고 나머지 suffix만 새 관측으로 다시 예측하는 비동기 제어 방식입니다. Fast branch는 실행 중간의 시간 오프셋과 최신 상태를 입력받아 suffix를 갱신하므로, 행동 연결성을 보존하면서 접촉 오류나 장면 변화에 대응합니다.
Cross-Embodiment Learning: — Cross-Embodiment Learning은 형태와 센서 구성이 다른 로봇의 데이터를 하나의 표현 공간에서 학습하는 방식입니다. ZimaBlue는 팔, 그리퍼, 몸통, 이동 베이스, 손 관절을 포함한 100차원 state-action 슬롯에 각 로봇의 유효 좌표만 채우고 mask를 적용해 서로 다른 제어 인터페이스의 행동 지식을 공유합니다.

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

로봇 양팔 궤적과 물체 반응을 예측하는 DreamX-Phi 1.0

GigaBrain-0.7의 3체계 로봇 지능 확장

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

로봇 양팔 궤적과 물체 반응을 예측하는 DreamX-Phi 1.0

GigaBrain-0.7의 3체계 로봇 지능 확장

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2