TL;DR
대형 이미지·비디오 생성 모델은 시맨틱 표현력과 조작 가능한 생성 능력을 보유하지만 로봇 임베디드 시나리오에서는 다중 뷰 일관성, 기하학적 제약, 그리고 조작 동역학 보존이 추가로 필요하다. Xiaomi-Robotics-U0는 이러한 요구를 충족시키기 위해 파운데이션 모델의 일반화 능력을 보존한 채 로봇 중심 데이터와 일반 도메인 데이터를 통합 학습하여 임베디드 합성 성능을 확보했다. 이로 인해 다중 뷰 장면 생성과 구조화된 전이, 그리고 제로샷 비디오 생성을 단일 모델로 지원하여 downstream 로봇 정책의 견고성을 실험적으로 개선했다.
왜 중요한가
대형 이미지·비디오 생성 모델은 시맨틱 표현력과 조작 가능한 생성 능력을 보유하지만 로봇 임베디드 시나리오에서는 다중 뷰 일관성, 기하학적 제약, 그리고 조작 동역학 보존이 추가로 필요하다. Xiaomi-Robotics-U0는 이러한 요구를 충족시키기 위해 파운데이션 모델의 일반화 능력을 보존한 채 로봇 중심 데이터와 일반 도메인 데이터를 통합 학습하여 임베디드 합성 성능을 확보했다. 이로 인해 다중 뷰 장면 생성과 구조화된 전이, 그리고 제로샷 비디오 생성을 단일 모델로 지원하여 downstream 로봇 정책의 견고성을 실험적으로 개선했다.
관련 Figure
이 그림은 Xiaomi-Robotics-U0가 텍스트·이미지·로봇 제어 토큰을 통합해 다중 작업을 처리하는 통합 프레임워크임을 시각적으로 제시한다. 좌우 및 상하의 샘플 이미지는 단일 모델이 다양한 로봇 형태와 다중 뷰 조건에서 일관된 출력을 생성함을 보여준다. 따라서 논문이 주장하는 '파운데이션 모델의 일반화 능력 유지와 임베디드 적응의 공동 학습'을 직관적으로 보강한다.
모델이 지원하는 다양한 임베디드 합성 태스크(장면 생성, 전이, 비디오 생성 등)를 요약한 개요 도식이다.
핵심 기여
통합 자기회귀 임베디드 합성 프레임워크 제안
Xiaomi-Robotics-U0는 텍스트-투-이미지, 이미지 편집, 임베디드 장면 생성, 임베디드 전이, 임베디드 비디오 생성을 하나의 next-token prediction 목표로 통합했다. 이 통합 학습은 파운데이션 모델의 시맨틱 및 편집 능력을 유지하면서 로봇 중심의 기하학적·상호작용 제약을 학습하게 했다. 결과적으로 모델은 다양한 단일 및 연속 생성 작업에서 일관된 출력을 생성할 수 있게 되었다.
구조화된 제어와 다중-해상도 순차 학습으로 롤아웃 가능한 합성 데이터 엔진 제공
장면을 워크스페이스·타깃 객체·불필요 객체·조명·배경으로 분해하는 구조화된 제어 표현을 도입해 세밀한 전이와 스타일 변형을 가능하게 했다. 또한 서브태스크-서브골 인터리브 형식과 다중 FPS 비디오로 순차 학습을 수행하여 장기 과업 진행과 세밀한 상호작용 동역학을 동시에 모델링했다. 이 조합은 합성 장면으로부터 시간적으로 일관된 조작 비디오를 롤아웃할 수 있는 데이터 엔진으로 작동하게 했다.
추론 병목 완화용 FlashAR+ 확장과 vLLM 통합으로 실용적 속도 개선 달성
이미지 토큰을 anti-diagonal 단계로 묶어 병렬 생성하는 FlashAR+ 를 도입하고 수평·수직 보조 헤드와 게이팅 융합을 적용해 병렬화하면서 정보 누설을 막는 step-causal 마스크를 사용했다. FlashAR+와 vLLM을 결합한 추론 경로는 1024×1024 T2I에서 표준 AR 450.77초 대비 FlashAR+ 16.56초(≈27.2×) 및 FlashAR+ with vLLM 5.44초(추가 ≈3.04×)의 지연 단축을 기록했다. 이로써 고해상도 임베디드 합성의 실무적 적용 가능성이 크게 향상되었다.
핵심 아이디어 이해하기
임베디드 합성 과제는 단일 이미지의 시각적 품질뿐 아니라 서로 다른 카메라 관측 간의 기하학적 일관성, 로봇의 구속조건과 상호작용 동역학 보존을 요구한다. 기존 파운데이션 이미지·비디오 모델은 풍부한 시맨틱 지식과 편집 능력을 보유하나 로봇 데이터로만 사후학습하면 다양성·일반화 능력이 저하될 위험이 있다. 따라서 근본 문제는 파운데이션 모델의 일반화 능력을 유지하면서 임베디드 제약을 모델 내부로 자연스럽게 주입하는 것이다.
방법론
본 논문은 모든 입력(텍스트 토큰, 이미지 토큰, 로봇 제어 토큰)을 일관된 이산 어휘로 변환한 뒤 next-token prediction으로 통합 학습하는 접근을 취했다. 이미지 토크나이저로는 IBQ Tokenizer를 사용해 16×16 공간 압축으로 이미지 패치를 코드북 토큰으로 변환하고 Qwen-3-32B 기반의 EMU3.5 초기화 모델을 확장하여 디코더 전용 Transformer 위에 멀티모달 어휘를 통합했다. 단일 스텝 샘플(T2I, X2I, 임베디드 장면/전이)과 순차 샘플(서브태스크-서브골 인터리브, 다중 FPS 비디오)을 병렬적으로 학습해 서로 다른 시간 해상도와 작업 유형의 지식을 공유하도록 했다.
관련 Figure
이 도판은 텍스트-투-이미지, Any-to-Image, 임베디드 장면·전이 샘플들이 어떻게 구성되는지와 키프레임 샘플링 예시를 함께 제공한다. 구조화된 설명, 깊이·스켈레톤·예제 이미지 등 다양한 라벨링 출력이 시각적으로 제시되어 데이터 라벨링 파이프라인의 범위와 복잡도를 보여준다. 이는 방법론의 데이터 설계와 재가중치 전략을 이해하는 데 직관적 근거로 작용한다.
데이터 파이프라인과 예시 생성 결과를 나열한 패널로서 단일 스텝 및 순차 샘플의 다양성을 보여준다.
왼쪽에는 표준 자기회귀(순차 생성) 구조가, 오른쪽에는 FlashAR+의 anti-diagonal 병렬 생성이 나란히 배치되어 각 접근의 시퀀스 의존성과 병렬화 가능성을 비교한다. 이 그림은 FlashAR+가 타겟 이미지 영역에서 병렬 생성 단계를 도입해 추론 순서를 줄이는 설계를 어떻게 적용하는지를 구체적으로 보여준다. 따라서 논문의 추론 효율성 주장과 수치적 개선의 구조적 근거를 제공한다.
next-token prediction 기반의 학습·추론 흐름과 FlashAR+ 병렬 생성 방식을 비교한 다이어그램이다.
상단과 중단 패널은 서로 다른 로봇 형태와 작업에 대해 입력 깊이 맵·설명·참조 이미지를 바탕으로 생성된 다중 뷰 결과들을 배열해 보여준다. 이 도판은 모델이 편집된 설명과 깊이 조건을 동시에 만족시키며 뷰 간 정합성을 유지한다는 정성적 근거를 제공한다. 또한 예시들의 일관성은 논문이 주장한 기하 기반 제약 준수 능력을 직접적으로 보강한다.
임베디드 전이와 임베디드 장면 생성 예시들을 다중 관점으로 보여주는 패널이다.
이 그림은 장면 서술을 구조화하기 위한 다섯 가지 의미 차원과 HDBSCAN 기반의 궤적 분할, 키프레임 추출 과정을 단계별로 시각화한다. 각 분해 단계가 어떻게 텍스트 라벨과 다중 뷰 샘플을 생성하는지, 그리고 이들이 학습 샘플로 재구성되는지를 명확히 보여준다. 따라서 데이터 어노테이션과 서브태스크-서브골 인터리브 포맷의 설계 의도를 뒷받침한다.
장면 설명 생성, 서브태스크 분해, 키프레임 샘플링 흐름을 보여주는 라벨링 파이프라인 도식이다.
주요 결과
임베디드 전이(Embodied Transfer) 벤치마크에서 Xiaomi-Robotics-U0는 GPT-Image-2 대비 SI-RMSE, δ1, AbsRel, Canny F1, Segmentation mIoU 등 모든 정량 지표에서 우수한 수치를 보였고, 특히 SI-RMSE가 0.4007에서 0.1407로 큰 개선을 기록했다. WorldArena 비디오 벤치마크에서는 EWMScore 73.64로 다수 제출 모델 중 1위를 차지했으며 Instruction Following, Interaction Quality, Perspectivity, Motion Smoothness 등 핵심 차원에서도 상위 성능을 달성했다. 실제 로봇 정책 실험에서는 π0.5의 OOD 성공률(실험 설정 기준)이 36.9%에서 63.2%로 증가했고, 데이터 증강을 통한 학습은 간섭(interference) 조건에서 명확한 강인성 향상을 가져왔다.
관련 Figure
이 패널은 AR 대비 FlashAR+ 및 FlashAR+ with vLLM의 추론 시간 단축치를 로그 스케일 막대로 보여주며 GenEval/ImgEdit에서의 점수 보존을 함께 제시한다. 정성 샘플은 임베디드 전이와 장면 생성에서 시각 품질이 유지되었음을 보여준다. 이 그림은 논문의 핵심 주장인 '품질 유지와 속도 개선의 동시 달성'을 직관적으로 보강한다.
정성 비교 샘플과 GenEval/ImgEdit 평가 및 추론 시간 비교를 포함한 정량·정성 종합 결과표이다.
기술 상세
아키텍처는 Qwen-3-32B 디코더 기반의 EMU3.5 초기화 모델을 확장하고 IBQ 토크나이저로 이미지·텍스트·제어 토큰을 통일된 이산 어휘로 매핑한 후 단일 자기회귀 Transformer로 학습하도록 구성되었다. FlashAR+ 확장에서는 target image를 anti-diagonal 단계로 묶어 수평·수직 예측 헤드와 게이트 융합으로 최종 로짓을 합성하며 융합 손실 식은 ℒ = ℒ_fuse + 0.05 ℒ_h + 0.05 ℒ_v + 0.2 ℒ_distill로 설정해 보조 방향 헤드의 수렴을 보장했다. 데이터 측면에서 단일 스텝 샘플 9.5M개(56.4B 토큰)와 순차 비디오 클립 2.6M개(49.6B 토큰)를 조합해 학습분포를 구성했고 도메인·작업 유형 기반 샘플 재가중치와 중복 하향 샘플링을 적용해 편향을 완화했다.
관련 Figure
격자 그림은 위치 (r,c)에 대한 단계 s=r+c를 색상으로 표시해 각 셀의 병렬 생성 스텝이 어떻게 결정되는지 보여준다. 이 시각화는 동일 단계 내 토큰이 서로 보이지 않도록 설계된 step-causal 마스크의 직관을 제공하며 병렬화가 얼마나 많은 직렬 단계를 줄이는지 가늠할 수 있게 한다. 따라서 FlashAR+의 병렬 샘플링 설계와 안전한 정보 흐름 제약을 이해하는 데 핵심적이다.
anti-diagonal 단계 수와 수평·수직 헤드의 병렬화 수준을 나타내는 격자 시각화이다.
이 매트릭스는 조건(prefix) 토큰과 타겟 이미지 토큰 사이의 가시성 패턴을 밝히며, 타겟 영역 내부에서는 step-causal 제약이 적용되는 반면 조건에는 표준 인과성이 유지됨을 시각적으로 확인시킨다. 우측 확대는 각각의 anti-diagonal 블록이 내부에서 어떻게 격리되는지를 상세히 보여줘 병렬 생성 중 정보 누설 방지 메커니즘을 보강한다. 이는 FlashAR+ 마스크 규칙의 수식적 정의와 일치한다.
입력-타겟 토큰의 가시성 매트릭스와 anti-diagonal 블록 확장을 확대해 보여주는 다이어그램이다.
한계점
논문에서 명시한 한계로서 첫째, 임베디드 전이는 깊이 추정에 의존하므로 깊이 품질 저하가 텍스처와 지역 외관 제어의 한계로 이어질 수 있다. 둘째, 장면 생성과 비디오 생성이 별도 단계로 수행되기 때문에 긴 시간 롤아웃에서는 누적 오차가 발생할 위험이 존재한다. 셋째, 현재 컨텍스트 윈도우(32K) 제한으로 분 단위 장기 상호작용 모델링에는 제약이 있어 향후 컨텍스트 확장이 요구된다.
실무 활용
Xiaomi-Robotics-U0는 합성된 다중 뷰 장면과 시간적 비디오 롤아웃을 통해 실로봇 시연 데이터를 효과적으로 늘려 정책의 분포 외 강건성을 개선한다. 스타일 전이와 구조화된 제어를 결합한 제로샷 증강으로 실제 데모의 시각적 다양성을 확장해 환경 변화에 대한 적응력을 높였다.
- 로봇 조작 정책 학습을 위한 시각적 데이터 증강으로 배경·조명·텍스처 변화에 대한 강건성 향상을 제공한다.
- 시뮬레이션-실세계 도메인 간 갭을 줄이는 sim-to-real 용 합성 초기 관측 생성에 활용할 수 있다.
- 다중 카메라 설정에서 일관된 초기 관측을 생성해 로봇의 시야 간 캘리브레이션 및 정책 입력 검증에 사용 가능하다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Multi-view Consistency
- — 다중 카메라 관측에서 서로 다른 관점의 이미지들이 동일한 3차원 장면 구조와 객체 배치를 유지하는 성질로서, 임베디드 합성에서는 깊이·표면 위치·객체 정체성이 뷰 간에 일관되게 보존되어야 실제 로봇 제어와 호환된다.
- Anti-diagonal Decoding
- — 이미지 토큰 그리드의 r+c 값으로 그룹을 정의하고 동일 그룹 내 토큰은 병렬로 샘플링하며 이전 그룹만 참조하도록 하는 디코딩 스케줄로서, 직렬 토큰 수를 줄여 고해상도 이미지 생성의 추론 지연을 크게 낮춘다.
- IBQ Tokenizer
- — 이미지 패치를 16×16 공간 압축비로 벡터화한 코드북 기반 토크나이저로서 이미지 픽셀을 이산 토큰으로 변환하여 텍스트와 통일된 어휘로 자기회귀 모델이 처리할 수 있게 만든다.
- Structured Control
- — 워크스페이스, 배경, 불필요 객체, 타깃 객체, 조명 등 장면 속성들을 독립적인 제어 차원으로 분해하여 각 차원을 별도 조건으로 제공함으로써 세밀한 장면 전이와 합성 제어를 가능하게 하는 설계 방식이다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.