월드 액션 모델이 바꾸는 로봇 조작

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

비디오 월드 모델을 백본으로 쓰는 World Action Models(WAMs)는 장면의 시간적 거동을 학습해 물리적 일반화와 데이터 효율을 개선한다. NVIDIA의 Cosmos 3은 MoT 아키텍처와 대규모 멀티모달·액션 데이터(약 7.67억 이미지, 3.48억 비디오, 800만 액션)를 기반으로 WAM 포스트 트레이닝에 적합한 사전지식을 제공한다. 같은 학습 레시피에서 omni 초기화는 RoboLab 성공률을 28.1%에서 36.8%로 끌어올렸고, 4B·16B 모델은 Jetson·워크스테이션 계층에서 실시간 제어와 서버 서빙을 모두 지원하므로 실제 로봇 적용에서 빠른 적응 경로를 제시한다.

빠른 이해

새로운 점

비디오 기반 월드 모델로 행동과 미래 프레임을 공동 예측해 제로샷 전이를 가능하게 하는 점

핵심 메커니즘

Cosmos 3의 MoT 아키텍처는 이산 텍스트와 연속 모달리티를 각기 다른 생성 메커니즘으로 처리한다. 입력으로 비디오·텍스트·로봇 상태가 주어지면 autoregressive transformer가 언어적 추론을 이끌어 이산 토큰을 생성하고, diffusion transformer는 연속 신호(이미지·비디오·행동)를 다단계 denoising 과정으로 복원해 행동 청크를 산출한다. 이 과정에서 정책은 동일한 모델에서 행동을 생성함과 동시에 그 행동을 실행했을 때의 미래 장면을 예측함으로써 계획-예측 루프를 통합하고, 그 결과로 적은 태스크별 데이터로도 새로운 로봇·장면에 빠르게 적응할 수 있는 물리적 프라이어를 제공한다.

핵심 수치

RoboLab 성공률: 28.1% → 36.8%- 동일 레시피에서 omni 체크포인트로 초기화한 정책의 성능 향상 수치, 논문/기술보고서 비교 결과
학습 데이터 규모: 767M 이미지, 348M 비디오, 8M 액션 샘플- Cosmos 3에 사용된 멀티도메인 물리 데이터 통계
모델 크기 라인업: 4B (Edge) / 16B (Nano) / 64B (Super)- 배포 계층별로 제공되는 Cosmos 3 모델 스케일
엣지 실시간 제어: 15 Hz, 32 actions/추론- Cosmos3-Edge가 Jetson Thor에서 보고한 제어 빈도와 액션 청크 크기
지원 하드웨어: Jetson T2000/T3000, Jetson Thor, RTX PRO 6000, DGX, GeForce RTX- 워크스테이션·엣지·서버 배포용으로 명시된 플랫폼

섹션별 상세

문제와 한계

로봇 조작 정책의 핵심 문제는 학습 장면을 벗어난 상황에서의 물리적 일반화가 어렵다는 점이다. VLM 기반 VLA 접근법은 장면을 서술하고 명령을 해석하는 데 강하지만 물체의 낙하·미끄러짐·그립 반응 같은 동학을 예측하지 못해 새로운 물체 형태나 조명·배치에 취약하다. 이 한계는 정책이 단순한 시맨틱 매핑을 넘어서 물리적 결과를 미리 예측해야 하는 작업에서는 성능 저하로 이어지므로, 백본(backbone)이 장면의 시간적 거동을 모델링하도록 설계할 필요가 있다.

WAM의 작동 원리와 장점

World Action Model은 영상 기반의 월드 모델을 백본으로 삼아 행동과 미래 프레임을 함께 예측하는 구조로 입력으로 비디오·텍스트·로봇 상태를 받고 출력으로 연속적 행동과 예측 영상을 생성한다. 이 방식은 데이터의 다양성을 물리적 학습 신호로 전환하므로 서로 다른 상호작용 데이터가 동학 학습에 기여하고, 그 결과 새로운 물체·장면·로봇으로 제로샷 전이 가능성이 높아진다. 실험적으로 WAM은 동일 레시피·데이터·컴퓨트에서 omni 초기화가 RoboLab 성공률을 28.1%에서 36.8%로 끌어올린 점에서 백본의 동학 프라이어가 정책 성능에 직접 기여함을 입증한다.

VLA와 WAM 아키텍처를 비교한 도식으로 VLA는 VLM+액션 헤드, WAM은 Reasoner와 Diffusion을 공동 포스트트레인해 미래 프레임과 액션을 예측하는 구조를 보여준다. — Diagram다이어그램은 VLA와 WAM의 차이를 입력→처리→출력 관점에서 명확히 구분한다. VLA는 시맨틱 추론을 거쳐 별도 액션 헤드가 동작을 생성하는 반면, WAM은 비디오 예측과 행동 생성을 공동 학습해 동학 정보를 백본으로 내장한다는 설계적 차이가 시각적으로 드러난다. 이 구조도는 왜 WAM이 동작 일반화와 적은 태스크별 데이터로의 적응에서 유리한지를 아키텍처 차원에서 근거로 제공한다.

Cosmos 3 아키텍처와 데이터

Cosmos 3은 Mixture-of-Transformers 구조로, autoregressive transformer가 이산 텍스트 토큰을 생성하고 diffusion transformer가 이미지·비디오·오디오·행동 같은 연속 모달리티를 반복적 denoising으로 합성하는 점이 핵심 설계이다. 대규모 멀티모달 데이터셋을 활용해 약 7.67억 이미지, 3.48억 비디오, 800만 액션 샘플을 포함한 학습을 거쳐 물리적 세계의 거동에 대한 풍부한 사전지식을 획득했다. 이 데이터 폭과 아키텍처 조합은 포스트 트레이닝 시 다양한 상호작용 데이터로부터 동학 정보를 빠르게 특화시킬 수 있는 기반을 제공한다.

근거

Cosmos 3의 학습 데이터 규모는 약 767M 이미지, 348M 비디오, 8M 액션 샘플이다. — 본문의 Cosmos 3 데이터 통계(숫자 나열) 부분과 기술보고서 표/단락을 확인하면 됨.

정책 특화 사례와 증거

Cosmos 3 Nano를 출발점으로 한 Cosmos3-Nano-Policy-DROID는 Franka Panda와 Robotiq 그리퍼를 대상으로 포스트 트레이닝해 언어 지시와 멀티카메라 관찰로부터 관절 행동 궤적을 생성한다. 동일한 학습 레시피에서 omni로 사전학습된 체크포인트가 로봇실험(RoboLab) 성공률을 28.1%에서 36.8%로 끌어올린 것이 공개 비교 결과로 제시되어, 개선이 단순한 스케일 효과가 아니라 멀티도메인 액션 데이터와 아키텍처의 영향임을 시사한다. 또한 정책은 행동을 출력하면서 해당 행동을 실행했을 때의 예상 비디오를 동시 출력하므로 계획-예측 일체의 의사결정 루프를 한 모델이 유지한다.

테이블 위 물체와 로봇의 동작을 보여주는 애니메이션으로 초기 장면과 로봇의 행동이 연속적으로 나타난다. — Other이 GIF는 WAM이 입력 영상에서 행동을 생성해 실제 장면에서 실행되는 모습을 시각적으로 연결하는 사례 증거 역할을 한다. 장면 변화와 로봇 그리퍼의 궤적이 연속적으로 보이므로 모델이 단일 정책 출력과 동시에 예상되는 미래 프레임을 생성하는 점을 직관적으로 알 수 있다. 영상 내 객체 상호작용(바나나·그릇)이 다양한 물리적 결과를 보이므로 동학 기반 학습이 유효한 데이터라는 근거로 활용할 수 있다.

카메라 뷰와 함께 모델이 생성한 행동 계획 텍스트와 7채널 연속 행동 시퀀스를 선 그래프로 보여주는 그림이다. — Infographic그림의 텍스트 계획과 연속 액션 그래프는 Cosmos 3 기반 정책이 이산적 언어 출력과 연속적 관절 명령을 동일 모델 안에서 병행 생성하는 동작을 증명한다. 오른쪽 그래프의 채널별 선형 궤적과 그리퍼 닫힘 지표는 diffusion transformer가 연속 행동을 단계별로 복원한다는 주장을 시각적 근거로 보강한다. 따라서 이미지는 '행동과 예측 영상의 동시 생성'이라는 핵심 메커니즘을 데이터·출력 형태로 연결하는 증거로 기능한다.

근거

Omni로 사전학습된 체크포인트가 RoboLab 성공률을 28.1%에서 36.8%로 향상시켰다. — 본문의 Cosmos 3 기술보고서 비교 실험 결과 문단과 Figure 1–2 근처 기술 서술 참조.

배포 계층과 성능 지표

Cosmos 3 기반 정책은 모델 크기별로 서로 다른 배포 옵션을 제공해 실무 적용을 용이하게 한다: 64B·16B·4B 등급으로 나뉘며 Nano(16B)는 워크스테이션 서버에서, Edge(4B)는 Jetson 같은 엣지 디바이스에서 실시간 제어로 운영할 수 있다. 실운용 사례로 Cosmos 3 Edge는 NVIDIA Jetson Thor에서 640×360 관찰을 입력으로 받아 한 번의 추론에서 32개의 액션을 생성하며 제어 빈도 15Hz로 실시간 제어를 달성했다고 명시되어 있다. 이런 계층화는 대형 생성적 세계 모델을 그대로 유지하면서도 현장 요건에 맞춰 처리 위치를 선택하게 해 주므로 실용적 융통성을 제공한다.

근거

Cosmos 3 Edge(4B)는 Jetson Thor에서 640×360 관찰로 32개 액션을 생성하며 실시간 제어 15Hz를 달성했다. — 배포 고려 섹션의 성능·하드웨어 문장과 구체적 수치 표기 확인.

개발자 착수 경로

작성자는 WAM 성능을 검증하려면 자사 데이터로 Cosmos 3을 포스트 트레이닝해 기존 VLA와 직접 비교하라고 권한다. 공개된 자료로 모델 체크포인트·데이터셋·포스트 트레이닝 레시피·평가 도구·서빙 스택이 제공되므로 LeRobotDataset 형식으로 데이터를 준비해 공개 레시피를 따라가면 빠른 평가가 가능하다. 또한 GitHub·Hugging Face·기술보고서와 라이브스트림·커뮤니티(Discord) 링크를 통해 실전 적용 사례와 추가 자료를 얻을 수 있다.

용어 해설

비디오 월드 모델(Video world model): — 시간축 상의 영상 변화를 입력으로 받아 미래 프레임과 관련 상태를 예측하는 모델로, 장면 동학을 학습해 물체의 이동·충돌·변형 같은 물리적 거동을 모델링한다. 입력으로 연속 프레임과 텍스트를 받고 출력으로 연속 영상과 행동 시퀀스를 생성할 수 있어 로봇 정책의 물리 일반화를 돕는다.
비전-언어-액션(VLA)(Vision-Language-Action (VLA)): — 사전학습된 VLM(backbone)을 기반으로 장면 이해와 명령 해석을 거쳐 별도 액션 헤드가 관절 명령을 생성하는 패러다임으로, 시맨틱 일반화에는 강하지만 장면 동학을 직접 모델링하지 못해 물리적 일반화에 한계가 있다.
Mixture-of-Transformers(MoT)(Mixture-of-Transformers (MoT)): — 여러 Transformer 구성요소를 조합해 각 모달리티별로 적합한 생성 메커니즘을 쓰는 아키텍처로, Cosmos 3에서는 autoregressive transformer가 이산 텍스트 토큰을, diffusion transformer가 연속적 영상·행동을 처리하는 구조를 채택한다.
디퓨전 트랜스포머(Diffusion transformer): — 연속 신호(이미지·비디오·연속 행동)를 반복적 노이즈 제거 방식으로 생성하는 모듈로, 초기 노이즈 상태에서 여러 단계의 denoising 과정을 거쳐 실제와 유사한 연속 출력을 만든다. 행동 생성 시 한 번에 정규화된 액션 청크를 복원하는 용도로 사용된다.
포스트 트레이닝(Post-training): — 사전학습된 대형 모델을 특정 다운스트림 작업(로봇 플랫폼·데이터셋)에 맞춰 추가 학습하는 과정으로, 이미 학습된 물리·멀티모달 사전지식을 유지한 채 정책 출력을 특화시키므로 적은 태스크별 데이터로도 빠르게 적응할 수 있다.

기술

Cosmos 3
Mixture-of-Transformers
diffusion transformer
Jetson Thor
RTX PRO 6000
LeRobotDataset

언급된 리소스

DemoCosmos 3 model collection on Hugging Face

GitHubCosmos 3 repositories on GitHub

문서Cosmos 3 technical report

문서원문 링크