GigaWorld-Policy-0.5: AutoResearch로 강화된 저지연 고성능 World Action Model

로봇 제어에서 미래 시각적 동역학을 활용하면 행동과 환경 변화 간의 인과 관계를 조밀한 감독 신호로 학습할 수 있어 장기적 과제에서 더 신뢰성 있는 행동을 생성할 수 있다. 그러나 기존 WAM 접근법은 추론 시 픽셀 수준의 미래 영상을 생성해야 해 계산 비용과 지연이 커 실시간 폐쇄 루프 제어에 부적합했다. GigaWorld-Policy-0.5는 학습 단계에만 시각적 동역학을 적극 활용하고 추론 단계에서는 액션 전용 경로를 사용해 이 트레이드오프를 해소했다.

로봇 정책 학습에서 미래 영상 예측은 행동과 환경 변화의 인과적 연결고리를 풍부한 감독 신호로 제공한다. 기존 WAM은 이 이점을 얻기 위해 학습과 추론 모두에서 미래 영상을 생성하는데, 영상 토큰의 계산 비용이 액션 토큰보다 훨씬 커 실시간 제어에서 병목이 된다. 따라서 핵심 문제는 학습 시에는 영상 기반의 촘촘한 감독을 유지하면서 추론 시에는 영상 생성 연산을 회피하는 것이다. GigaWorld-Policy-0.5는 인과적 토큰 구조를 이용해 액션 토큰 예측과 미래 시각적 토큰 예측을 분리한다. 학습 단계에서는 미래 시각적 토큰이 액션 토큰을 참조하도록 허용해 액션이 가져올 장면 변화를 조건으로 학습을 강화한다. 추론 단계에서는 미래 시각적 토큰을 생략하고 액션 전용 디코딩 경로만 활성화해 계산량과 지연을 크게 줄인다. 또한 아키텍처 수준에서 시각 전문가와 액션 전문가를 분리한 Mixture-of-Transformers 설계는 파라미터 수는 증가시키지만 액션 경로의 차원과 FFN 구성을 경량화함으로써 액션 전용 추론 시 총 연산을 감소시킨다. 이 구조적 분리는 시각적 사전학습 가중치의 재사용을 용이하게 하고 액션 경로 초기화도 시각 전문가 가중치에서 부분적으로 가져와 학습 안정성에 기여한다. 결과적으로 학습의 이점은 유지되면서도 엣지 디바이스에서 요구하는 저지연 제어가 가능해진다.

모델 입력으로는 다중 시점 관측(좌, 전, 우), 프로프리오셉티브 상태, 언어 지시와 액션 청크가 주어진다. 시각 입력은 VAE 기반 인코더로 잠재 시각 토큰으로 변환되고 상태와 액션은 MLP를 통해 동일한 숨김 차원으로 매핑된다. 언어는 umT5 텍스트 임베딩으로 조건화 신호를 제공한다. 아키텍처는 시각 전문가와 액션 전문가로 구분된 MoT 구조로 구성되며 각 전문가는 자체 교차어텐션과 FFN을 갖는다. 두 전문가는 멀티모달 셀프어텐션으로 연결되며 인과 마스크는 액션 토큰이 미래 시각적 토큰을 참조하지 못하게 한다. 이로 인해 학습 시에는 시각 동역학이 액션 표현에 영향을 주고 추론 시에는 시각 토큰을 생략할 수 있다. 학습은 flow matching 프레임워크로 수행되며 액션 모달리티와 시각 모달리티에 대해 서로 다른 흐름 시점 샘플링을 사용한다. 노이즈 토큰과 클린 토큰 사이의 보간 지점에서 모델이 속도 필드(velocity)를 예측하도록 회귀 손실을 적용한다. 이 다중모달 흐름 설정은 액션과 시각 모달리티를 동시에 안정적으로 학습시키고, 액션 예측 성능에 직접 연결되는 액션-특화 손실을 강조하기 위해 흐름 시프트 인자를 도입한다.

텍스트 지시 기반의 과일 집기 과제에서 GigaWorld-Policy-0.5는 평균 성공률 0.85를 기록해 비교군들보다 0.05~0.09의 절대 개선을 보였다. 물체 배치 과제에서는 평균 성공률 0.89로 가장 높은 성과를 달성했고, 특히 그릇을 바구니로 옮기거나 포크를 바구니에 넣는 조합에서 두드러진 향상을 보였다. 장기 순차 조작 과제 세트에서는 평균 성공률 0.80을 기록해 가장 강한 기준선 대비 절대 0.20, 상대 33%의 향상이 관찰되었다. 구성요소별 제거 실험에서 AC-WM을 혼합한 사전학습은 포스트트레이닝 단계에서 더 빠른 수렴과 높은 최종 성공률을 보였다. MoT 기반 설계와 추론 스택 최적화 조합은 추론 지연을 크게 개선했다. A100 환경에서 결합 최적화 적용 시 지연은 360ms에서 189ms로 단축되었고, RTX 4090 C++ 배포 환경에서는 85ms를 달성해 실시간 제어 요구에 부합하는 수준에 도달했다. AutoResearch 하이퍼파라미터 자동 탐색 결과 학습률 6×10^-5와 배치 16 조합이 훈련 행동 손실과 검증 행동 MSE 측면에서 최적 후보로 선택되었고, 모델은 30K 스텝에서 최적 검증 성능을 보인 체크포인트를 사용해 실로봇 평가를 진행했다.

전체 아키텍처는 시각 전문가와 액션 전문가로 구성된 Mixture-of-Transformers 구조이며 입력 토큰은 시각 잠재 토큰, 상태 토큰, 액션 토큰, 텍스트 임베딩으로 이루어진다. 시각 입력 인코더로는 사전학습된 GigaWorld-1의 시각 VAE를 초기화해 시각 동역학 사전 지식을 전이했고 액션 전문가는 시각 전문가 가중치를 부분 복사해 초기화해 학습 안정성을 확보했다. 멀티모달 셀프어텐션은 액션 중심 인과 마스크를 따르며 이 마스크는 액션 토큰이 미래 시각 토큰을 참조하지 못하게 해 추론 시 미래 시각 토큰을 제거해도 액션 예측의 일관성이 유지되도록 한다. 학습 손실은 flow matching 기반으로 정의되며 주요 수식은 τ^{a}=rac{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{oldsymbol{ au}}^{ extrm{a}}}=rac{
extrm{(문서 원문 식 4)}}{}}{}}}})

논문은 MoT 설계가 액션 전용 추론에서 연산 효율을 제공하지만 전체 파라미터 수는 증가한다고 명시했다. 또한 픽셀 수준의 미래 예측을 학습 시에 사용하면 상상된 프레임의 오류가 장기 롤아웃에서 누적될 수 있음을 언급했다. 엣지 배포 성능은 하드웨어와 런타임 최적화에 크게 의존하며 논문 결과는 특정 GPU 및 C++ 배포 환경에 기반한 수치임이 명시되어 있다.