GigaWorld-Policy: 효율적인 동작 중심 세계-동작 모델

기존의 로봇 제어 모델은 미래 영상을 생성하며 학습하지만, 실제 동작 시에도 영상을 생성하느라 속도가 매우 느린 한계가 있었다. 이 논문은 학습 시에는 영상 데이터를 활용해 물리적 이해도를 높이되, 실제 로봇을 움직일 때는 영상 생성 없이 동작만 빠르게 출력하는 구조를 제안한다. 이를 통해 실시간성이 중요한 로봇 환경에서 고성능과 저지연 제어를 동시에 구현했다.

왜 중요한가

핵심 기여

동작 중심 세계-동작 모델 아키텍처

학습 시에는 미래 시각 정보를 보조 신호로 사용해 물리적 일관성을 배우고, 추론 시에는 영상 생성 없이 동작만 출력하여 지연 시간을 대폭 줄였다.

인과적 시퀀스 모델링 및 마스킹 전략

동작 토큰과 미래 시각 토큰을 하나의 인과적 마스크 아래 배치하여, 동작이 미래 상태를 결정하는 인과 관계를 명확히 학습하도록 설계했다.

3단계 단계별 커리큘럼 학습 파이프라인

대규모 웹 비디오 모델에서 시작해 로봇 중심 데이터, 실제 로봇 궤적 데이터로 이어지는 학습 과정을 통해 범용적인 물리 지능을 확보했다.

실제 로봇 플랫폼에서의 성능 및 효율성 검증

A100 GPU 기준 0.36초의 빠른 추론 속도를 기록하며, 기존 SOTA 모델인 Motus 대비 9배 빠른 속도와 7% 높은 성공률을 입증했다.

핵심 아이디어 이해하기

로봇이 복잡한 작업을 수행하려면 단순히 다음 동작을 흉내 내는 것을 넘어, 내 동작이 세상에 어떤 변화를 일으킬지 예측하는 '세계 모델(World Model)' 지능이 필요하다. 기존 모델들은 동작 데이터가 부족해 물리적 법칙을 무시하는 실수를 자주 범했고, 이를 해결하기 위해 영상 생성 기술을 결합한 모델들은 추론 시 매번 영상을 그려내야 하므로 실시간 제어가 불가능할 정도로 느렸다.

GigaWorld-Policy는 '동작 중심' 접근법을 통해 이 문제를 해결한다. Transformer 구조 내에서 동작 토큰(Action Token)이 미래 영상 토큰(Future Video Token)보다 먼저 오도록 배치하고 인과적 마스크(Causal Mask)를 적용한다. 이렇게 하면 모델은 동작을 결정할 때 미래 영상을 참고할 수 없으므로, 오직 현재 상태와 명령만으로 최적의 동작을 계산해야 한다. 반면, 미래 영상 예측은 이 동작이 맞는지 검증하는 보조 감독관 역할을 수행하며 모델의 물리적 추론 능력을 강화한다.

결과적으로 학습 과정에서는 방대한 영상 데이터를 통해 물리적 인과관계를 깊이 있게 배우지만, 실제 로봇을 구동할 때는 영상 생성 단계를 생략하고 동작 토큰만 즉시 추출한다. 이는 딥러닝의 고차원 임베딩 공간에서 물리적 법칙이 이미 동작 결정 로직에 녹아들어 있기 때문에 가능한 일이며, 성능 저하 없이 추론 효율성을 극대화하는 핵심 원리다.

방법론

5B 파라미터 규모의 Diffusion Transformer(DiT)를 기반으로 하며, 멀티뷰 RGB 이미지, 로봇의 상태(Proprioception), 자연어 명령을 입력으로 받는다. 세 대의 카메라 뷰를 하나의 합성 이미지로 병합하여 공간적 구조를 유지하면서도 백본 모델의 수정 없이 멀티뷰 추론이 가능하도록 설계했다.

통합 토큰 시퀀스 구성 및 인과적 마스킹 전략을 사용한다. [현재 관찰; 로봇 상태; 동작; 미래 관찰] 순서로 토큰을 배치하고, [모든 모달리티 토큰 시퀀스를 입력으로] → [특정 토큰이 미래 시점의 토큰을 보지 못하게 하는 행렬 연산을 수행하여] → [동작 토큰이 미래 영상 정보를 미리 아는 정보 누출을 차단하고] → [모델이 현재 정보만으로 미래를 예측하도록 강제한다.]

Flow Matching 기법을 도입하여 동작과 영상 생성을 최적화한다. [동작/영상 토큰 x와 노이즈 epsilon, 시간 s를 입력으로] → [선형 보간 x(s) = (1-s)epsilon + sx를 계산하고 모델이 속도 벡터를 예측하게 하여] → [학습된 속도 필드를 얻고] → [이 필드를 따라 노이즈를 적분하면 깨끗한 동작이나 영상을 생성할 수 있다.] 손실 함수는 영상 손실과 동작 손실을 5:1 비율로 결합하여 정의한다.

주요 결과

RoboTwin 2.0 시뮬레이션 벤치마크에서 50개 이상의 작업에 대해 평가한 결과, 기존 VLA 모델인 pi_0.5 대비 성공률을 44%p 이상 향상시켰다. 특히 SOTA 모델인 Motus와 대등한 성능을 보이면서도 추론 속도는 9배(3231ms에서 360ms로) 더 빨라졌다.

실제 로봇(AgileX PiPER 6-DoF) 환경에서 책상 정리, QR 코드 스캔, 그릇 쌓기, 쓰레기 쓸기 등 복잡한 다단계 작업을 수행했다. Motus 대비 평균 성공률이 7% 높았으며, 특히 제어 지연 시간이 짧아 폐루프(Closed-loop) 오정정 능력이 우수함을 확인했다.

Ablation Study를 통해 미래 영상 예측 프레임 수와 샘플링 간격의 영향을 분석했다. 미래 예측을 전혀 하지 않을 때보다 예측 기능을 활성화했을 때 성공률이 0.18 상승하여, 세계 모델링이 동작 학습에 실질적인 도움을 준다는 점을 증명했다.

기술 상세

아키텍처는 Wan 2.2 5B Diffusion Transformer를 백본으로 채택하여 강력한 시각적 생성 능력을 로봇 정책에 이식했다. 모든 모달리티(이미지, 상태, 동작)가 동일한 Transformer 블록 내에서 Query, Key, Value 프로젝션 행렬을 공유함으로써 파라미터 효율성을 높이고 모달리티 간 결합도를 강화했다.

3단계 학습 파이프라인(Curriculum Training)이 핵심이다. 1단계는 대규모 웹 비디오로 물리 상식을 배우고, 2단계는 10,000시간 분량의 로봇 및 인간 1인칭 시점 영상을 통해 로봇 중심의 시각 역학을 학습하며, 3단계에서 실제 로봇의 동작-언어-이미지 데이터를 정렬(Post-training)한다.

추론 시 Action-only 모드를 지원하여 효율성을 극대화했다. KV 캐시를 활용하거나 미래 영상 토큰 생성을 완전히 생략함으로써 A100 GPU에서 0.36초라는 낮은 지연 시간을 달성했다. 이는 기존 확산 모델 기반 로봇 정책들이 겪던 고질적인 속도 문제를 아키텍처 수준에서 해결한 사례다.

한계점

미래 영상 예측의 정확도가 장기적인 제어 안정성에 영향을 줄 수 있으며, 아주 긴 시간 지평(Long-horizon)에서의 예측 오류 누적 가능성이 존재한다. 또한 특정 로봇 하드웨어 인터페이스에 최적화된 Post-training 과정이 필수적이다.

실무 활용

실시간 제어가 필수적인 산업용 로봇이나 서비스 로봇 분야에서 고성능 세계 모델을 즉시 적용할 수 있는 길을 열었다. 영상 생성의 높은 연산 비용 없이도 물리적 지능을 갖춘 로봇 제어가 가능하다.

복잡한 장애물이 있는 환경에서의 정밀한 물체 조작 로봇
실시간 피드백이 중요한 자율 주행 및 이동 로봇 제어
다양한 도구 사용이 필요한 가사 지원 로봇 서비스

코드 공개 여부: 공개

코드 저장소 보기

키워드

World Model(세계 모델)VLA(비전-언어-동작 모델)Robotics(로봇 공학)Diffusion Transformer(확산 트랜스포머)Flow Matching(플로우 매칭)

용어 해설

세계 모델(World Model): — 로봇이 자신의 행동에 따른 환경 변화를 예측하는 내부 시뮬레이션 지능이다. 시각적 변화를 미리 계산하여 물리적 인과관계를 이해하고 복잡한 작업을 계획하는 데 필수적인 역할을 한다.
비전-언어-동작 모델(VLA): — 시각 정보와 언어 명령을 입력받아 로봇의 제어 동작을 직접 출력하는 통합 인공지능 모델이다. 인지, 이해, 실행 과정을 하나의 신경망으로 처리하여 로봇의 범용성을 높이는 핵심 기술이다.
플로우 매칭(Flow Matching): — 확률 분포 사이의 변환 경로를 직접 학습하여 데이터를 생성하는 기법이다. 기존 Diffusion 모델보다 학습이 안정적이고 추론 속도가 빨라 실시간 로봇 제어에 적합한 생성 방식이다.
인과적 마스크(Causal Mask): — 시퀀스 데이터 처리 시 특정 시점의 토큰이 미래의 정보를 참조하지 못하도록 가리는 행렬 연산이다. 모델이 과거와 현재 정보만을 바탕으로 다음 동작을 결정하도록 강제하여 인과 관계를 유지한다.
확산 트랜스포머(Diffusion Transformer): — Transformer 아키텍처를 활용해 고품질의 이미지나 영상을 생성하는 확산 모델 구조이다. 대규모 데이터 학습에 유리하며 로봇의 복잡한 시각적 역동성을 정밀하게 모델링하는 데 사용된다.

GigaWorld-Policy: 효율적인 동작 중심 세계-동작 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

월드 모델을 활용한 AI 에이전트의 미래 행동 계획 및 제어 연구

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

월드 모델을 활용한 AI 에이전트의 미래 행동 계획 및 제어 연구

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2