TL;DR

τ₀‑VLA는 고수준 메모리 기반 정책과 월드 모델 기반 테스트 시 탐색을 결합하고 Qwen3.5 VLM과 Mixture‑of‑Transformers 액션 전문가로 저수준 제어를 수행하는 계층적 로봇 파운데이션 모델이다. 입력으로 현재 관찰·작업 지시·실행 메모리를 받아 고수준이 후보 서브태스크를 생성하고 월드 모델이 후보의 미래를 시뮬레이션해 Value로 재정렬한 후 상위 분기를 저수준에 커밋하는 흐름으로 동작한다. 예제 데이터, configs, 서빙·평가 도구와 Hugging Face 체크포인트가 공개되어 있어 연구 재현과 자체 데이터로의 포스트트레이닝을 시도해볼 수 있다.

주요 기능

• 계층적 정책과 월드 모델 탐색을 결합해 장기 조작 문제에 대응한다. 이 구조는 고수준 서브태스크 제안과 저수준 행동 실행을 분리하여 모듈별 튜닝을 용이하게 한다. 특히 대규모 실제 데이터로 후처리된 모델로서 긴 시퀀스에서 안정성을 개선하도록 설계되었다.
• Qwen3.5 기반 VLM과 Mixture-of-Transformers 액션 전문가를 결합해 멀티모달 입력에서 직접 연속 제어를 출력한다. 관찰·명령·메모리를 통합해 서브태스크를 제안하고, 전문가 혼합으로 로봇별 동작을 세밀하게 생성한다. 이 조합은 이종 바디 전이와 정밀 조작에서 이점을 노린다.
• 40차원 통일 상태·액션 공간과 40,115시간의 이종 실제 데이터로 포스트트레이닝이 수행되었다. 대규모 멀티모달 공동학습을 통해 센서·컨트롤 차이를 흡수하도록 설계되어 있다. 데이터 포맷과 어댑터 템플릿을 제공해 다른 로봇으로의 적용을 지원한다.
• 월드 모델 기반 빔 탐색(Beam Search)으로 테스트 시 후보를 시뮬레이션해 Value 모델로 정렬하고 상위 분기만 확장한다. 이 과정은 탐색 깊이와 유지할 분기 수를 조절하여 계산-정확도 트레이드오프를 조정할 수 있다. 따라서 추가적 추론 자원이 주어질 때 행동 선택의 신뢰도를 높일 수 있다.

어떻게 동작하는가

τ₀‑VLA는 고수준 메모리 기반 정책이 관찰과 실행 메모리, 작업 지시로부터 다음 서브태스크 후보를 생성하고 월드 모델이 각 후보의 상위 시퀀스를 시뮬레이션해 Value 모델로 평가하는 체인을 사용한다. 선택된 서브태스크는 Qwen3.5 비전·언어 백본과 Mixture‑of‑Transformers 액션 전문가로 구성된 저수준 정책에 전달되어 통일된 40차원 상태·액션 표현을 통해 실제 로봇의 조인트 제어 또는 EEF 명령으로 변환된다. 이 파이프라인은 후보 생성→시뮬레이션→평가→반영(commit)이라는 입력→처리→출력 흐름을 통해 장기 조작에서 실패 전파를 줄이고 다른 로봇 몸체로의 전이를 수월하게 만든다.

해결 문제

긴 시간축의 연속 조작 작업에서 단일 레벨 정책은 계획 실패 시 복구 또는 대체 행동을 찾기 어렵다는 문제가 있다. τ₀‑VLA는 고수준에서 서브태스크 후보를 탐색하고 월드 모델로 미래 상태를 미리 계산해 신뢰할 수 있는 분기만 저수준으로 실행함으로써 이 문제를 완화한다. 결과적으로 장기 작업에서 잘못된 선택으로 인한 전체 실패율을 낮추고, 다양한 로봇 몸체에 걸친 행동 일반화를 향상시키려는 목적을 가진다.

지금 주목받는 이유

최근 로봇 제어 연구에서 시뮬레이션 기반의 예측·검색을 테스트 시점에 적용해 의사결정 신뢰도를 높이는 방향이 주목받고 있다. τ₀‑VLA는 그 흐름을 실제 대규모 로봇 데이터와 결합해 시연한 점이 공개 발표와 모델·체크포인트 릴리스로 이어졌다. 공개된 코드와 Hugging Face 가중치 때문에 연구·비교 실험 대상으로 빠르게 확산되고 있다.

차별점

• 월드 모델 기반의 시험 시 계산을 통해 테스트 시점에 후보 서브태스크를 시뮬레이션하고 Value로 재평가해 상위 분기만 유지하는 탐색 루프를 적용한다. 이 방식은 단일 의사결정에서 발생하는 불확실성을 완화하며, 탐색 깊이와 빔 너비로 계산 자원을 유연하게 조정할 수 있다. 따라서 추가 추론 자원이 허용되는 환경에서 의사결정 신뢰도를 실질적으로 높일 수 있다.
• 저수준 정책은 Qwen3.5 VLM과 Mixture‑of‑Transformers 액션 전문가를 결합해 멀티모달 입력에서 연속 제어를 출력하도록 설계되었다. 전문가 혼합으로 복잡한 제어 패턴을 캡처하면서도 통일된 상태·액션 표현으로 다른 로봇으로의 전환을 단순화한다. 이 구조는 대규모 실제 데이터로 포스트트레이닝 되어 실세계 잡음·센서 차이를 흡수하도록 구성되었다.
• 데이터 파이프라인과 어댑터 템플릿을 공개해 다양한 로봇·데이터셋에 재현 가능한 포스트트레이닝 워크플로를 제공한다. LeRobot 포맷과 example AgiBot World가 포함되어 있어 샘플 데이터로 학습 절차를 확인할 수 있다. 이로 인해 연구자나 개발자가 자체 로봇 데이터로 동일한 파이프라인을 적용하기 쉬워진다.

사용 사례

• 복잡한 조리·조작처럼 여러 단계로 이어지는 장기 작업을 수행하는 서비스 로봇의 정책 검증과 배포에 활용할 수 있다. 고수준 탐색으로 위험한 선택을 사전에 배제하고 저수준 전문가가 세세한 제어를 수행하므로 실환경 시험에서 안전 마진을 확보하기 쉽다. 또한 탐색 깊이와 보존 분기 수를 조정해 하드웨어 제약에 맞춘 트레이드오프를 운영할 수 있다.
• 한 종류의 학습된 저수준 정책으로 서로 다른 로봇 형태(조인트 제어 기반↔EEF 기반)로의 전이를 연구하거나 실제 배포를 준비하는 프로젝트에 적합하다. 어댑터 템플릿을 통해 새로운 바디 포맷을 연결하고 포스트트레이닝으로 보정하면 동일한 고수준 서브태스크 체인을 재사용할 수 있다. 이 접근은 다중 플랫폼에서 일관된 행동 사양을 유지해야 하는 응용에 유리하다.
• 연구 목적으로 월드 모델 기반 탐색 전략이나 Mixture‑of‑Transformers 액션 전문가 아키텍처를 비교하고자 할 때 베이스라인 및 재현 가능한 데이터 파이프라인으로 활용할 수 있다. 제공된 example_data와 configs가 실험 재현을 단축해 주며, 서빙·오픈루프 평가 도구로 실험 자동화가 가능하다. 따라서 방법 비교 연구나 ablation study를 수행하기에 적절한 출발점이 된다.

시작하기

레포트 제공된 설치 스크립트로 Python 3.11과 CUDA 12.8 환경을 구성한 뒤 예제 데이터를 이용해 포스트트레이닝을 실행해 볼 수 있다. configs/example_agibot_world_gong와 example_data가 포함되어 있어 빈번한 설정 변경 없이도 학습 파이프라인을 가동할 수 있다. 이후 자신 환경에 맞춰 configs/_template와 adapters/_template를 복사해 데이터 적재 및 어댑터를 구현한 다음 동일한 train.sh 명령으로 학습을 진행하면 된다.

요구사항

• GPU가 장착된 Linux 서버, CUDA 12.8과 PyTorch 2.7.1을 권장한다. 대규모 멀티모달 백본과 액션 전문가를 훈련·서빙하려면 수십 GB의 GPU 메모리와 디스크 공간이 필요하다. 개발자가 로컬 소형 실험만 수행하려면 예제 데이터로 CPU 또는 소규모 GPU에서 부분 재현이 가능하나 전체 포스트트레이닝 재현에는 고사양 장비가 요구된다.
• 데이터는 LeRobot 포맷을 따르며 관찰, 메타정보, 정규화된 상태·액션 시퀀스를 포함해야 한다. 제공된 DATASET_FORMAT.md와 data/README.md를 따라 데이터 전처리·마스킹·정규화를 수행해야 모델이 기대하는 입력을 제공할 수 있다. 새로운 로봇을 적용할 때는 adapters/_template를 복사해 I/O 매핑을 구현해야 한다.

이미지 분석