Xiaomi-Robotics-1: 100,000시간 이상의 실제 궤적로 확장한 시각-언어-행동 기반 로봇 파운데이션 모델

왜 중요한가

실제 로봇 조작 분야는 데이터 수집의 비용과 다양성 부족으로 확장에 제약이 존재한다. Xiaomi-Robotics-1은 100,000시간 이상의 실제 UMI 궤적을 자동 언어 주석으로 대규모 라벨링해 데이터 병목을 완화하고, 시각-언어 표현을 행동 생성을 직접 조건으로 삼는 파운데이션 모델을 구축했다. 대규모 사전학습이 실제 로봇의 out-of-the-box 성능과 적은 데이터에서의 빠른 적응으로 이어지는 점이 실무적 의미를 갖는다.

핵심 기여

100,000시간 규모의 실제 조작 궤적과 자동 라벨링 파이프라인 구축

논문은 UMI 장치로 수집한 100,000시간 이상의 실제 조작 궤적을 전처리하고 Qwen3.5-27B 기반의 자동 캡셔닝을 통해 고밀도 상태전이 언어 주석을 생성했다. 제작된 producer–consumer 파이프라인은 클립 분할과 캡셔닝을 비동기적으로 처리하여 전체 코퍼스를 약 2주 만에 주석 처리했다. 이 대규모 데이터는 행동 생성의 일반화와 다양성 확보에 중추적 역할을 했다.

VLM과 Diffusion Transformer를 결합한 Mixture-of-Transformers 아키텍처

아키텍처는 사전학습된 VLM이 시각·언어 표현과 행동 후보를 생성하고, DiT가 VLM의 KV 캐시와 로봇 상태를 조건으로 flow-matching을 수행해 연속 행동 청크를 생성하는 구조로 설계되었다. VLM에는 Choice Policies를 적용해 K개의 후보 행동과 점수를 예측하고, 최우수 후보를 선택하는 보조 손실을 부여해 수렴을 가속했다. DiT는 행동 관련 토큰을 자신의 어텐션에서 제외해 VLM 출력을 그대로 복사하는 쉬운 지름길을 차단했다.

확산 기반 flow-matching 학습과 5-스텝 Euler 복원 규격화

DiT 학습은 flow-matching 손실 L_Flow를 최소화하는 방식으로 진행되며, 노이즈화된 행동 a~ = τ a + (1−τ) ε (ε ∼ N(0,I))를 사용한다. τ는 Beta(1.5, 1)에서 샘플링된 값으로 정해지며, 추론 시에는 5-스텝 Euler 통합(Δτ=0.2)을 통해 노이즈 초기값에서 깨끗한 행동 청크를 복원한다. 이러한 연속적 복원 절차는 고차원 연속 동작 생성에서 정밀도를 확보하게 한다.

교체적(post-)학습을 통한 크로스-임베디먼트 정렬과 통일된 행동 표현

사전학습으로 획득한 UMI 기반 행동 생성 능력을 로봇 본체(모바일 매니퓰레이터, 듀얼암 등)에 맞추기 위해 약 10,000시간의 크로스-임베디먼트 데이터를 사용해 후속 정렬을 수행했다. 팔 동작은 기준 프레임 기준 상대 델타 엔드이펙터 포즈로 표준화했고, 서로 다른 차원의 행동 성분은 손실 계산 시 마스킹해 통일된 행동 벡터로 취급했다. 이 과정은 상태전이형 프롬프트를 인간식 명령어 프롬프트로 전환하는 목적을 동시에 달성했다.

광범위한 실험으로 입증한 스케일링 법칙과 SOTA 성능

사전학습에서 데이터 양과 모델 크기를 다양화한 실험에서 데이터 규모 증대가 유효성 검증 오차(MSE)를 더 크게 개선했고, 더 강한 사전학습 모델이 후속(post-)학습에서 실제 로봇의 out-of-the-box 성공률을 향상시켰다. Xiaomi-Robotics-1은 RoboCasa에서 74.5% 평균 성공률, RoboCasa365에서 57.4%를 기록해 선행 기법 대비 유의미한 향상을 달성했으며 RoboDojo 평균 점수 20.07로 기존 최고 기록을 상회했다. 또한 적은 데이터(작업당 평균 <10시간)로 다운스트림 작업을 효과적으로 미세조정해 평균 성공률 75%를 확보했다.

핵심 아이디어 이해하기

로봇 조작 정책 학습은 관찰에서 행동으로의 직접 매핑을 학습하는 문제로 규정된다. 기존의 로봇 데이터 수집은 텔레오퍼레이션에 의존해 느리고 사양과 환경이 제한되며 데이터 다양성이 부족해 대규모 사전학습을 적용하기 어렵다. 따라서 대규모의 다양한 실제 궤적과 그에 상응하는 언어적 상태전이가 결합될 때 모델이 범용적인 행동 생성 능력을 얻을 수 있다는 출발점에서 연구가 전개되었다. 모델은 시각-언어 표현을 생성하는 VLM과 연속 행동을 생성하는 Diffusion Transformer(DiT)를 결합한 Mixture-of-Transformers 구조를 채택해 문제를 분리했다. VLM은 관찰과 명령을 임베딩하고 보조적으로 K개의 행동 후보와 후보별 점수를 예측해 행동 친화적 표현을 형성한다. DiT는 VLM이 만든 KV 캐시와 로봇 상태를 조건으로 flow-matching 손실을 최소화하면서 실제 연속 행동 청크를 생성하되, 행동 후보 토큰을 DiT의 어텐션에서 제외해 단순 복사를 방지한다. flow-matching은 노이즈 혼합된 행동 표본 a~와 참조 장(u)을 비교해 모델이 예측하는 벡터 필드 v_theta를 L2로 맞추는 방식이다. τ를 다양한 난이도의 노이즈 타임스텝으로 샘플링해 노이즈가 큰 상태에 더 많은 학습비중을 주고, 추론 시에는 수치적 통합(여기서는 5-스텝 Euler, Δτ=0.2)을 통해 초기 노이즈에서 깨끗한 행동을 복원한다. 이로써 연속적 고차원 행동 공간에서 정교한 복원이 가능해진다. 대규모 데이터와 모델 스케일링이 함께 작동할 때 실제 로봇 성능 향상이 가능하다는 점이 핵심 직관이다. 실험은 데이터 규모 증가가 특히 큰 이득을 가져오며 모델 크기 확장도 일관된 이득을 제공한다는 사실을 보였다. 결국 데이터 다양성과 양이 로봇 파운데이션 모델의 일반화 한계를 결정짓는 주요 자원이라는 결론이 도출된다.

방법론

전체 학습 레시피는 사전학습(pre-training)과 후속 정렬(post-training)의 두 단계로 구성된다. 사전학습에서는 UMI로 수집한 대규모 비로봇 데이터에 언어화된 상태전이 주석을 결합해 모델이 언어로 지정된 목표 상태로 장면을 변화시키는 행동을 생성하도록 학습시켰다. 후속 정렬 단계는 크로스-임베디먼트(robot embodiments) 데이터를 사용해 UMI 기반 행동을 다양한 로봇 하드웨어의 행동 공간으로 매핑하고, 상태전이형 프롬프트를 인간이 쓰는 명령문 형태로 전환해 실제 로봇의 지시 이행 능력을 확보한다. 모델 아키텍처는 사전학습된 VLM과 DiT를 병렬적으로 배치해 VLM이 관찰과 지시를 인코딩하고 Choice Policies로 K개의 후보 행동과 점수 예측을 수행하도록 했다. DiT는 VLM과 동일 계층 수를 가졌으나 은닉 크기는 작게 설계해 추론 속도를 확보했고, DiT의 입력은 VLM의 KV 캐시와 로봇 상태, 노이즈화된 행동 청크로 구성된다. VLM에 부과된 보조 회귀 손실은 L_Regression = ||â* - a||_1 + Σ_k ||ŝ_k - s_k||^2_2의 형태로, K개의 후보 중 L1 거리 기준 최우수 후보만 회귀 대상에 포함한다. flow-matching 손실은 다음과 같은 형태로 정의된다: L_Flow(θ)=||v_θ(o,l,s,ã^{τ},τ)-u(ã^{τ},a,τ)||^2_2이며, 여기서 ã^{τ}=τ a + (1-τ) ε (ε ∼ N(0,I))로 노이즈화된 행동을 만든다. τ는 Beta(1.5,1)에서 샘플링된 값으로 지정되며, 이로 인해 더 높은 노이즈 수준의 타임스텝에 학습 가중을 부여한다. 추론 시에는 a^{τ=0}∼N(0,I)로 초기화한 뒤 5-스텝 Euler 통합(Δτ=0.2)을 적용해 깨끗한 행동 청크를 복원한다. 데이터 파이프라인은 자동 주석화를 중심으로 설계되었으며 Qwen3.5-27B를 사용해 고정 길이 클립에 상태전이 캡션을 부착했다. producer–consumer 구조로 클립 분할과 캡셔닝을 병렬화해 전체 100,000시간 코퍼스를 약 2주 만에 주석 처리했고, 사전학습에서 vision-language 데이터와 UMI 궤적은 1:9 비율로 샘플링되었다. 후속 학습에서는 비전-언어 데이터, 오픈소스 로봇 데이터, 주석된 UMI 데이터, 자사 로봇 데이터가 0.5:0.5:0.5:8.5 비율로 샘플링되어 사용되었다.

주요 결과

사전학습에서 데이터 스케일 실험은 12.5%, 25%, 50%, 100%의 데이터 설정으로 진행되었고, 검증 동작 오차(MSE)는 데이터가 증가함에 따라 낮아졌다. 특히 12.5%와 25% 설정에서는 훈련 도중 과적합 징후로 조기 종료가 관측된 반면 50%와 100% 설정은 손실이 지속적으로 감소해 데이터 규모가 일반화 성능에 결정적 영향을 미쳤다. 모델 스케일 실험에서는 2B, 5B, 10B 변형을 동일 데이터에서 비교했으며 모델 크기가 증가함에 따라 동작 예측 정밀도가 일관되게 개선되었으나 데이터 스케일 효과가 더 뚜렷했다. 후속 정렬 단계의 out-of-the-box 실험에서 사전학습 데이터 규모가 클수록 실제 로봇의 성공률이 향상되었다. Qwen3-VL 기반의 초기화(사전학습 비행위) 대비 사전학습을 거친 모델은 전체 성공률이 26%에서 75%로 상승했으며, 12.5% 데이터만으로도 베이스라인의 성공률을 두 배 이상 끌어올렸다. 모델 크기별 비교에서는 2B가 61%, 5B가 75%, 10B가 79%의 전체 성공률을 기록해 모델 확장도 성능 향상에 기여했다. 다운스트림 미세조정 실험에서는 평균 작업당 10시간 이하의 저데이터 세팅에서 Xiaomi-Robotics-1이 평균 성공률 75%와 진척(progress) 90%를 달성해 π0.5의 40% 성공률 대비 큰 우위를 보였다. 프린터 리필 작업처럼 변형성 높은 물체 취급 과제에서는 최상위 베이스라인의 20%에서 70%로 개선되는 등 데이터 효율성이 특히 두드러졌다. 또한 RoboCasa(74.5%), RoboCasa365(57.4%), VLABench와 RoboDojo(평균 점수 20.07)에서 논문에 보고된 기존 최고 성능을 상회하는 결과를 달성했다.

기술 상세

아키텍처 구성은 사전학습용 VLM과 연속행동 생성용 DiT의 혼합으로 이루어졌다. VLM은 관찰과 언어를 인코딩하고 행동·점수 쿼리 토큰을 시퀀스 말미에 추가해 K개의 후보 행동과 점수 예측을 수행하며, DiT는 VLM과 동일한 계층 수를 가지되 은닉 크기를 작게 하여 추론 속도를 확보한다. 표 1에 따르면 2.6B(약 2B), 5.1B(약 5B), 10.5B(약 10B) 버전이 각각 설계되었다. flow-matching 기반의 DiT 학습은 L_Flow(θ)=||v_θ(o_t,l,s_t,ã^{τ},τ)-u(ã^{τ},a_{t:t+H},τ)||^2_2 형태로 정의된다. 여기서 ã^{τ}=τ a+(1-τ) ε, ε∼N(0,I)로 노이즈화된 행동을 만들며 τ는 u∼Beta(1.5,1)로부터 유도해 τ=(1-u)0.999∈[0,0.999]로 설정한다. 추론 시에는 a^{τ=0}∼N(0,I)에서 시작해 5-스텝 Euler 통합(Δτ=0.2)으로 깨끗한 행동을 복원한다. VLM의 Choice Policies는 K개의 후보 행동 â^k_{t:t+H}과 각 후보의 점수 ŝ_k를 예측하고, 회귀 손실 L_Regression = ||â - a||_1 + Σ_k ||ŝ_k - s_k||^2_2를 적용한다. 여기서 â*는 L1 기준으로 가장 참조 행동과 가까운 후보이며 s_k의 회귀 타깃은 각 후보와 정답 행동 간의 L1 거리로 정의된다. 이 보조 감독은 VLM 표현을 행동생성 친화적으로 조정해 DiT 학습의 초기 수렴을 돕는다. 데이터 측면에서는 사전학습용 코퍼스가 UMI로 수집된 100,000시간 규모이며, 이 코퍼스에 Qwen3.5-27B로 생성한 상태전이 캡션을 붙였다. 라벨링 인프라는 CPU 워커로 클립을 잘라 메모리 파일시스템에 올리고 수백 개의 캡셔닝 요청을 동시에 유지하는 producer–consumer 구조로 고안되어 전체 라벨링 소요를 약 2주로 단축했다. 훈련시 비전-언어 데이터와 UMI 데이터의 배치 샘플링 비율은 1:9로 설정했고 DiT 입력에 대해 VLM KV 캐시를 재활용해 연산을 분산시켰다. 행동 표현 일치성은 엔드이펙터 상대 델타 포즈로 통일했으며(식 참조), 서로 다른 임베디먼트 간 오리엔테이션을 정렬해 유사 동작이 일관된 값으로 표현되게 했다. 모바일 베이스와 허리 동작은 각각 베이스 속도와 허리 위치의 상대 델타로 표현하고, 차원 불일치가 있는 경우 해당 차원을 손실 계산에서 마스킹해 학습 안정성을 유지했다.

한계점

논문은 로봇 학습에서 데이터 수집의 병목이 여전히 핵심 제약임을 명시했다. 특히 소규모 데이터 설정(12.5%, 25%)에서는 과적합 징후가 관측되어 데이터 규모 부족이 성능 한계로 작동함이 확인되었다. 또한 DiT가 VLM의 행동 관련 토큰을 단순히 복사하는 쉬운 해법을 이용할 위험이 있어 행동 토큰을 DiT의 어텐션에서 제외하는 설계적 조치를 취했지만, 이러한 상호작용 설계는 여전히 제한점으로 남아 있다. 평가 측면에서는 RoboDojo 평가에서 히스토리 관찰을 사용하지 않아 메모리 차원 성능이 다른 메모리 기반 모델보다 낮게 측정된 부분이 있어 비교 조건에 대한 제약이 존재한다.

실무 활용

Xiaomi-Robotics-1은 대규모 사전학습으로 얻은 범용 행동 생성 능력을 바탕으로 실제 환경에서 즉시 사용 가능한 정책을 제공하고 소량의 작업별 데이터로 빠르게 적응할 수 있다. 코드와 체크포인트를 공개해 연구자와 개발자가 모델을 재현하고 특정 로봇에 맞춰 미세조정할 수 있도록 설계되었다. 후속 정렬을 통해 다양한 로봇 엔베디드먼트로의 전이가 가능하게끔 행동 표준화와 손실 마스킹을 적용했다.

실제 가정 및 상업 환경에서의 다목적 모바일 매니퓰레이션 정책으로 즉시 배포해 물건 정리, 가방 포장, 소파 정리 등 반복 작업을 자동화하는 시나리오
로컬 로봇 하드웨어에 10시간 내외의 작업별 데이터로 미세조정해 전화 포장, 세탁물 적재, 프린터 용지 보충 같은 복잡한 과제를 빠르게 학습시키는 워크플로
시뮬레이션 벤치마크에서의 비교 평가와 연구용 베이스라인으로 사용해 새로운 로봇 제어 알고리즘이나 행동 표현 연구의 출발점으로 활용하는 연구 시나리오

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision-Language-Action(시각-언어-행동 모델)Flow Matching(플로우 매칭)Diffusion Transformer(확산 변환기)UMI Devices(UMI 장치)Choice Policies(Choice Policies)

용어 해설

시각-언어-행동 모델(Vision-Language-Action (VLA)): — 시각적 관찰과 자연어 지시를 입력으로 받아 로봇의 연속된 행동 궤적을 출력하는 통합 모델 계열이다. 본 논문에서는 대규모 실제 조작 궤적과 언어화된 상태전이(conditioning)를 결합해 행동생성을 학습하는 주된 프레임워크로 사용되며, 일반화된 행동 생성 능력을 얻기 위해 사전학습과 교체적 정렬(post-training)을 적용했다.
플로우 매칭(Flow Matching): — 확산 기반 연속 행동 생성에서 모델이 예측하는 벡터 필드 v_theta를 목표 장(u)과 L2 손실로 일치시키는 학습법이다. 노이즈 혼합 샘플 a~와 시간 τ를 입력으로 받아 벡터 차이를 최소화함으로써 역확산(recovery) 과정에서 깨끗한 행동을 복원하도록 학습한다.
확산 변환기(Diffusion Transformer (DiT)): — Transformer 구조를 기반으로 flow-matching 손실을 통해 연속적 행동 청크를 생성하는 모듈이다. 본 논문에서는 VLM의 KV 캐시를 조건으로 받아 행동 벡터 필드를 예측하고, 5-스텝 Euler 통합으로 노이즈 초기값에서 행동을 복원한다.
UMI 장치(UMI devices): — 휴대형 핸드헬드 조작기구와 시야가 결합된 데이터 수집 장치로서, 실제 환경에서 대규모 조작 궤적을 저비용으로 수집하게 해준다. 논문에서는 100,000시간 이상의 전처리 데이터 원천으로 사용되어 다양성과 규모 확보에 기여했다.
Choice Policies: — VLM 내부에서 K개의 후보 행동 청크와 각 후보의 점수를 예측한 뒤, 가장 행동 손실이 작은 후보를 선택하여 회귀 손실에 포함시키는 보조 감독 기법이다. 이 기법은 VLM의 표현을 행동생성에 적합하도록 유도하여 DiT 학습 수렴을 가속하는 역할을 한다.

Xiaomi-Robotics-1: 100,000시간 이상의 실제 궤적로 확장한 시각-언어-행동 기반 로봇 파운데이션 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

GigaBrain-0.7의 3체계 로봇 지능 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

GigaBrain-0.7의 3체계 로봇 지능 확장