Xiaomi-Robotics-1: 100,000시간 이상의 실제 궤적로 확장한 시각-언어-행동 기반 로봇 파운데이션 모델

실제 로봇 조작 분야는 데이터 수집의 비용과 다양성 부족으로 확장에 제약이 존재한다. Xiaomi-Robotics-1은 100,000시간 이상의 실제 UMI 궤적을 자동 언어 주석으로 대규모 라벨링해 데이터 병목을 완화하고, 시각-언어 표현을 행동 생성을 직접 조건으로 삼는 파운데이션 모델을 구축했다. 대규모 사전학습이 실제 로봇의 out-of-the-box 성능과 적은 데이터에서의 빠른 적응으로 이어지는 점이 실무적 의미를 갖는다.

로봇 조작 정책 학습은 관찰에서 행동으로의 직접 매핑을 학습하는 문제로 규정된다. 기존의 로봇 데이터 수집은 텔레오퍼레이션에 의존해 느리고 사양과 환경이 제한되며 데이터 다양성이 부족해 대규모 사전학습을 적용하기 어렵다. 따라서 대규모의 다양한 실제 궤적과 그에 상응하는 언어적 상태전이가 결합될 때 모델이 범용적인 행동 생성 능력을 얻을 수 있다는 출발점에서 연구가 전개되었다. 모델은 시각-언어 표현을 생성하는 VLM과 연속 행동을 생성하는 Diffusion Transformer(DiT)를 결합한 Mixture-of-Transformers 구조를 채택해 문제를 분리했다. VLM은 관찰과 명령을 임베딩하고 보조적으로 K개의 행동 후보와 후보별 점수를 예측해 행동 친화적 표현을 형성한다. DiT는 VLM이 만든 KV 캐시와 로봇 상태를 조건으로 flow-matching 손실을 최소화하면서 실제 연속 행동 청크를 생성하되, 행동 후보 토큰을 DiT의 어텐션에서 제외해 단순 복사를 방지한다. flow-matching은 노이즈 혼합된 행동 표본 a~와 참조 장(u)을 비교해 모델이 예측하는 벡터 필드 v_theta를 L2로 맞추는 방식이다. τ를 다양한 난이도의 노이즈 타임스텝으로 샘플링해 노이즈가 큰 상태에 더 많은 학습비중을 주고, 추론 시에는 수치적 통합(여기서는 5-스텝 Euler, Δτ=0.2)을 통해 초기 노이즈에서 깨끗한 행동을 복원한다. 이로써 연속적 고차원 행동 공간에서 정교한 복원이 가능해진다. 대규모 데이터와 모델 스케일링이 함께 작동할 때 실제 로봇 성능 향상이 가능하다는 점이 핵심 직관이다. 실험은 데이터 규모 증가가 특히 큰 이득을 가져오며 모델 크기 확장도 일관된 이득을 제공한다는 사실을 보였다. 결국 데이터 다양성과 양이 로봇 파운데이션 모델의 일반화 한계를 결정짓는 주요 자원이라는 결론이 도출된다.

전체 학습 레시피는 사전학습(pre-training)과 후속 정렬(post-training)의 두 단계로 구성된다. 사전학습에서는 UMI로 수집한 대규모 비로봇 데이터에 언어화된 상태전이 주석을 결합해 모델이 언어로 지정된 목표 상태로 장면을 변화시키는 행동을 생성하도록 학습시켰다. 후속 정렬 단계는 크로스-임베디먼트(robot embodiments) 데이터를 사용해 UMI 기반 행동을 다양한 로봇 하드웨어의 행동 공간으로 매핑하고, 상태전이형 프롬프트를 인간이 쓰는 명령문 형태로 전환해 실제 로봇의 지시 이행 능력을 확보한다. 모델 아키텍처는 사전학습된 VLM과 DiT를 병렬적으로 배치해 VLM이 관찰과 지시를 인코딩하고 Choice Policies로 K개의 후보 행동과 점수 예측을 수행하도록 했다. DiT는 VLM과 동일 계층 수를 가졌으나 은닉 크기는 작게 설계해 추론 속도를 확보했고, DiT의 입력은 VLM의 KV 캐시와 로봇 상태, 노이즈화된 행동 청크로 구성된다. VLM에 부과된 보조 회귀 손실은 L_Regression = ||â* - a||_1 + Σ_k ||ŝ_k - s_k||^2_2의 형태로, K개의 후보 중 L1 거리 기준 최우수 후보만 회귀 대상에 포함한다. flow-matching 손실은 다음과 같은 형태로 정의된다: L_Flow(θ)=||v_θ(o,l,s,ã^{τ},τ)-u(ã^{τ},a,τ)||^2_2이며, 여기서 ã^{τ}=τ a + (1-τ) ε (ε ∼ N(0,I))로 노이즈화된 행동을 만든다. τ는 Beta(1.5,1)에서 샘플링된 값으로 지정되며, 이로 인해 더 높은 노이즈 수준의 타임스텝에 학습 가중을 부여한다. 추론 시에는 a^{τ=0}∼N(0,I)로 초기화한 뒤 5-스텝 Euler 통합(Δτ=0.2)을 적용해 깨끗한 행동 청크를 복원한다. 데이터 파이프라인은 자동 주석화를 중심으로 설계되었으며 Qwen3.5-27B를 사용해 고정 길이 클립에 상태전이 캡션을 부착했다. producer–consumer 구조로 클립 분할과 캡셔닝을 병렬화해 전체 100,000시간 코퍼스를 약 2주 만에 주석 처리했고, 사전학습에서 vision-language 데이터와 UMI 궤적은 1:9 비율로 샘플링되었다. 후속 학습에서는 비전-언어 데이터, 오픈소스 로봇 데이터, 주석된 UMI 데이터, 자사 로봇 데이터가 0.5:0.5:0.5:8.5 비율로 샘플링되어 사용되었다.

사전학습에서 데이터 스케일 실험은 12.5%, 25%, 50%, 100%의 데이터 설정으로 진행되었고, 검증 동작 오차(MSE)는 데이터가 증가함에 따라 낮아졌다. 특히 12.5%와 25% 설정에서는 훈련 도중 과적합 징후로 조기 종료가 관측된 반면 50%와 100% 설정은 손실이 지속적으로 감소해 데이터 규모가 일반화 성능에 결정적 영향을 미쳤다. 모델 스케일 실험에서는 2B, 5B, 10B 변형을 동일 데이터에서 비교했으며 모델 크기가 증가함에 따라 동작 예측 정밀도가 일관되게 개선되었으나 데이터 스케일 효과가 더 뚜렷했다. 후속 정렬 단계의 out-of-the-box 실험에서 사전학습 데이터 규모가 클수록 실제 로봇의 성공률이 향상되었다. Qwen3-VL 기반의 초기화(사전학습 비행위) 대비 사전학습을 거친 모델은 전체 성공률이 26%에서 75%로 상승했으며, 12.5% 데이터만으로도 베이스라인의 성공률을 두 배 이상 끌어올렸다. 모델 크기별 비교에서는 2B가 61%, 5B가 75%, 10B가 79%의 전체 성공률을 기록해 모델 확장도 성능 향상에 기여했다. 다운스트림 미세조정 실험에서는 평균 작업당 10시간 이하의 저데이터 세팅에서 Xiaomi-Robotics-1이 평균 성공률 75%와 진척(progress) 90%를 달성해 π0.5의 40% 성공률 대비 큰 우위를 보였다. 프린터 리필 작업처럼 변형성 높은 물체 취급 과제에서는 최상위 베이스라인의 20%에서 70%로 개선되는 등 데이터 효율성이 특히 두드러졌다. 또한 RoboCasa(74.5%), RoboCasa365(57.4%), VLABench와 RoboDojo(평균 점수 20.07)에서 논문에 보고된 기존 최고 성능을 상회하는 결과를 달성했다.

아키텍처 구성은 사전학습용 VLM과 연속행동 생성용 DiT의 혼합으로 이루어졌다. VLM은 관찰과 언어를 인코딩하고 행동·점수 쿼리 토큰을 시퀀스 말미에 추가해 K개의 후보 행동과 점수 예측을 수행하며, DiT는 VLM과 동일한 계층 수를 가지되 은닉 크기를 작게 하여 추론 속도를 확보한다. 표 1에 따르면 2.6B(약 2B), 5.1B(약 5B), 10.5B(약 10B) 버전이 각각 설계되었다. flow-matching 기반의 DiT 학습은 L_Flow(θ)=||v_θ(o_t,l,s_t,ã^{τ},τ)-u(ã^{τ},a_{t:t+H},τ)||^2_2 형태로 정의된다. 여기서 ã^{τ}=τ a+(1-τ) ε, ε∼N(0,I)로 노이즈화된 행동을 만들며 τ는 u∼Beta(1.5,1)로부터 유도해 τ=(1-u)0.999∈[0,0.999]로 설정한다. 추론 시에는 a^{τ=0}∼N(0,I)에서 시작해 5-스텝 Euler 통합(Δτ=0.2)으로 깨끗한 행동을 복원한다. VLM의 Choice Policies는 K개의 후보 행동 â^k_{t:t+H}과 각 후보의 점수 ŝ_k를 예측하고, 회귀 손실 L_Regression = ||â - a||_1 + Σ_k ||ŝ_k - s_k||^2_2를 적용한다. 여기서 â*는 L1 기준으로 가장 참조 행동과 가까운 후보이며 s_k의 회귀 타깃은 각 후보와 정답 행동 간의 L1 거리로 정의된다. 이 보조 감독은 VLM 표현을 행동생성 친화적으로 조정해 DiT 학습의 초기 수렴을 돕는다. 데이터 측면에서는 사전학습용 코퍼스가 UMI로 수집된 100,000시간 규모이며, 이 코퍼스에 Qwen3.5-27B로 생성한 상태전이 캡션을 붙였다. 라벨링 인프라는 CPU 워커로 클립을 잘라 메모리 파일시스템에 올리고 수백 개의 캡셔닝 요청을 동시에 유지하는 producer–consumer 구조로 고안되어 전체 라벨링 소요를 약 2주로 단축했다. 훈련시 비전-언어 데이터와 UMI 데이터의 배치 샘플링 비율은 1:9로 설정했고 DiT 입력에 대해 VLM KV 캐시를 재활용해 연산을 분산시켰다. 행동 표현 일치성은 엔드이펙터 상대 델타 포즈로 통일했으며(식 참조), 서로 다른 임베디먼트 간 오리엔테이션을 정렬해 유사 동작이 일관된 값으로 표현되게 했다. 모바일 베이스와 허리 동작은 각각 베이스 속도와 허리 위치의 상대 델타로 표현하고, 차원 불일치가 있는 경우 해당 차원을 손실 계산에서 마스킹해 학습 안정성을 유지했다.

논문은 로봇 학습에서 데이터 수집의 병목이 여전히 핵심 제약임을 명시했다. 특히 소규모 데이터 설정(12.5%, 25%)에서는 과적합 징후가 관측되어 데이터 규모 부족이 성능 한계로 작동함이 확인되었다. 또한 DiT가 VLM의 행동 관련 토큰을 단순히 복사하는 쉬운 해법을 이용할 위험이 있어 행동 토큰을 DiT의 어텐션에서 제외하는 설계적 조치를 취했지만, 이러한 상호작용 설계는 여전히 제한점으로 남아 있다. 평가 측면에서는 RoboDojo 평가에서 히스토리 관찰을 사용하지 않아 메모리 차원 성능이 다른 메모리 기반 모델보다 낮게 측정된 부분이 있어 비교 조건에 대한 제약이 존재한다.