World Action Models: 구현형 AI의 차세대 최전선

Vision-Language-Action(VLA) 모델은 환경 변화에 대한 물리적 추론이 제한적이다. World Action Models(WAMs)는 환경 dynamics를 예측하고 이를 바탕으로 행동을 생성하는 jointly 학습하는 프레임워크로, 미래 상태와 행동의 결합 분포를 학습한다. 이를 통해 자율 로봇의 제로샷 일반화와 다양한 데이터 소스 활용이 가능해진다.

출발점과 한계: Vision-Language-Action 모델은 시각-언어 표현에서 정책을 학습하는 reactive 매커니즘에 머무르고, 환경의 물리적 변화에 대한 예측이 부족하다. WAM은 Forward Predictive Modeling(환경의 미래 상태 𝑜′를 예측)과 Coupled Action Generation(예측된 미래 상태에 맞춰 실행 명령 𝑎를 생성)을 하나의 프레임으로 묶어, 𝑝(𝑜′, 𝑎 | 𝑜, 𝑙) 또는 𝑝(𝑜′, 𝑎 | 𝑜, 𝑙) 형태의 공동 분포를 학습한다. 이를 통해 zero-shot 일반화와 데이터 소스의 확장을 가능하게 한다.

아키텍처 분류: World Action Models는 Cascaded WAM과 Joint WAM으로 나뉜다. Cascaded WAM은 먼저 World Model이 𝑜′를 예측하고, 그 후 Action Model이 이를 바탕으로 𝑎를 산출한다. Explicit Planning은 픽셀-space의 미래 상태를 예측(plan)으로 삼고, Inverse Dynamics Model(IDM)나 Geometric Extraction과 연결한다. 입력(ó, l)에서 World Model은 𝑜′ 를, Action Decoder는 𝑎를 예측하며, 각각의 모듈은 독립적으로 학습된다. Pattern: 입력(o, l) → 세계 모델이 𝑜′를 예측 → IDM/Action Decoder가 𝑎를 예측 → 출력(𝑜′, 𝑎) → 해석: 미래 상태와 행동의 공동 정보를 이용한 제어. Joint WAM은 Future World States와 Actions를 하나의 네트워크에서 동시 예측한다. Autoregressive Generation은 {World State, Action}를 시계열 토큰으로 직렬화하고, p(𝑜′, 𝑎 | 𝑜, 𝑙) = p(𝑒1| ) … p(𝑒T| 이전) 형태로 좌측-우측 순차 디코딩으로 모델링한다. 단점은 초기 예측 오류가 후속 예측으로 누적될 수 있다는 점이고, 이를 해결하기 위해 Unified Discrete Representations, Predictive Latent Representations 등의 접근이 등장한다. Diffusion-based Joint은 세계-동작 변수를 하나의 트렁크에서 병렬으로 생성하거나, Multi-Stream으로 분리된 브랜치를 Cross-Attention, Hidden-State, Shared Representation 등으로 결합한다. Unified Stream은 월드-액션 변수를 하나의 DiT 백본에서 동일한 denoising 루프 하에 공동 예측하는 형태로, Explicit Future Prediction과 Implicit Future Prediction으로 구분된다. Multi-Stream은 Cross-Attention Coupled, Hidden-State Coupling, Shared Representation으로 구성되어, 서로 다른 모달리티를 상호 작용시키는 방식으로 설계된다. 학습 데이터 측면에서 Robot-centric Teleoperation, Portable Human Demonstration(UMI 계열), Simulation Data, Human & Ego-Centric Data가 혼합되어 사용되며, 평가에서는 Visual Fidelity, Physical Commonsense, Action Plausibility의 축으로 나뉜다.

주요 내용은 이 분야의 Landsacpe를 체계화하고, Architecture, Training Data, Evaluation Protocol의 4대 축으로 정리한 서베이이다. Cascaded WAM과 Joint WAM의 분류 체계와, Explicit/Implicit Planning 구분, Autoregressive vs Diffusion-based Generation의 기술적 분류를 제시한다. 데이터 생태계의 분류로 Robot Teleoperation, Portable Human Demonstrations(UMI 계열), Simulation, Ego-centric/대규모 인간 비디오 데이터의 네 가지 축을 제시하고, 평가 프로토콜은 Visual Fidelity(FVD, PSNR/SSIM, LPIPS, DreamSim, DINO 등), Physical Commonsense(VideoPhy, PhyGenBench, WorldModelBench, Physics-IQ 등), Action Plausibility(WorldSimBench, IDM Turing Test 등)으로 구성된다. 또한 데이터 혼합, 장기 계획, 추론 속도 및 안전성 문제를 Open Challenges로 제시한다.

아키텍처: Cascaded WAM과 Joint WAM으로 이원화된 설계. Cascaded는 World Model(𝑜′)과 Action Model(𝑎)을 분리된 모듈로 학습하며, Explicit Planning(픽셀-space 또는 Latent 표현)과 Geometric Action Extraction으로 Action을 도출한다. 방법론적 상세로는 (1) Explicit Planning via Pixel-Space Representations: UniPi, VLP, RoboEnvision 등의 사례에서 Pixel-space future plan을 생성하고 IDM/제어 모듈이 이를 바탕으로 행동을 추정한다. (2) Geometric Action Extraction: Optical Flow 또는 Pose Tracking 기반으로 future plan을 기하학적으로 해석해 행동으로 매핑한다. (3) Latent Planning 기반의 Latent Representations: Latent 상태 시퀀스를 예측하고, Action은 해당 Latents로부터 추정한다. Joint WAM은 Future world states와 Actions를 단일 모델에서 동시에 예측하는 접근이다. Autoregressive Generation은 World State와 Action을 토큰으로 직렬화하여 좌측-우측으로 예측하는 구조이며, Explicit Decoupled Representation, Unified Discrete Representations, Predictive Latent Representations의 세 가지 Representations를 활용한다. Diffusion-based Joint은 Unified Stream과 Multi-Stream으로 구분되며, Unified Stream은 World와 Action을 하나의 DiT 백본에서 공동 denoising하는 방식이고, Multi-Stream은 Cross-Attention Coupled, Hidden-State Coupling, Shared Representation으로 구성된다. 데이터 측면에서는 (i) Robot-Centric Teleoperation, (ii) Portable Human Demonstrations(UMI 계열), (iii) Simulation Data, (iv) Human and Ego-Centric Data의 네 가지 축의 데이터를 혼합하여 학습하고, (v) Training Data의 커리큘럼 설계와 domain randomization으로 일반화에 기여한다. 학습·평가의 분리 문제를 줄이고, closed-loop inference에서의 latency를 개선하는 방향으로 연구가 진행 중이다. 수치적 결과는 서베이의 범주화 및 체계화에 해당하며, 개별 논문의 구체적 벤치마크 수치를 종합적으로 비교하는 형태로 제시된다.

저자들이 명시적으로 제시하는 한계점으로, 고비용의 연산 및 낮은 추론 속도(실시간 제어에 필요한 수 ms 수준의 반응 속도에 미달 가능성), 긴 시간 지연으로 인한 누적 오차, 다중 모달 데이터를 효과적으로 혼합하는 데이터 혼합 설계 원리의 미정립, 시뮬레이터와 현실 간의 시뮬레이션-현실 간 차이 등 안전성 및 신뢰성 문제를 들 수 있다. 또한, 복잡한 장기 계획과 시간적 추상화를 위한 계층적 모델링의 효과적 통합 방법은 아직 해결되지 않았다.