GigaBrain-0.7의 3체계 로봇 지능 확장

왜 중요한가

기존 Vision-Language-Action 모델은 관찰에서 행동을 바로 예측하는 데 집중해 미래 상태 예측, 작업 진척도 평가, 실패 후 개선을 하나의 학습 흐름으로 연결하기 어려웠습니다. GigaBrain-0.7은 37,256.98시간의 이기종 embodied trajectory와 271,976,674개의 VLM image-text/question-answering 샘플을 바탕으로 이해·예측·제어를 통합하고, 16개 robot type과 서로 다른 행동 공간 사이의 공유 학습을 시도합니다. 이 설계는 한 로봇에 맞춘 정책을 넘어 Maker H01과 AgileX PiPER/PiPER-X 같은 서로 다른 플랫폼에서 zero-shot 실행과 후속 경험 기반 개선을 함께 다루려는 방향을 제시합니다.

관련 Figure

Infographic
중앙 구조에서 System 2의 Understanding & Planning, System 3의 Prediction & Evaluation, System 1의 Action & Control이 각각 Vision Language Model, World Model, Vision Language Action Model로 연결됩니다. 하단의 heterogeneous data와 오른쪽 Experience-Driven RL은 사전학습 데이터 통합과 rollout 기반 개선이 같은 모델 lifecycle에 포함됨을 나타내며, 상단 막대그래프에는 GigaBrain-0.7 74.1%, π0.5 45.2%, GigaBrain-0.1 43.2% 등의 평균 SR이 표시됩니다.
GigaBrain-0.7의 3체계 구조와 산업·가정 환경의 로봇 실행 사례, 모델별 평균 성공률을 한 화면에 배치한 개요 그림입니다.

핵심 기여

이해·예측·제어를 나눈 3체계 구조

System 2의 PaliGemma2 (3B)가 현재 장면과 언어 지시를 해석해 subtask를 만들고, System 3의 GigaWorld-1 기반 World Value Model (5B)이 미래 시각 상태와 작업 진척도를 예측하며, System 1의 PaliGemma2 (3B)와 Action Expert (0.5B)가 이를 연속 행동 청크로 변환합니다. 세 체계는 semantic, visual, value 인터페이스로 연결되어 단순한 현재 관찰-행동 매핑보다 긴 작업의 맥락과 예상 결과를 제어에 포함합니다.

37,000시간 규모의 이기종 embodied 사전학습

정제된 trajectory corpus는 37,256.98시간으로, Real Robot 20,535.65시간, UMI 8,251.83시간, EGO 2,862.36시간, Simulation 1,453.92시간, WM 4,153.22시간으로 구성됩니다. 여기에 271,976,674개의 image-text/question-answering 샘플을 결합해 연속 제어뿐 아니라 captioning, VQA, spatial reasoning, grounding, affordance understanding을 함께 학습합니다.

한 단계에서 시각·언어와 행동을 공동 정렬

GigaBrain-0.7은 NTP 기반 discrete action과 Flow Matching 기반 continuous action을 별도 후속 단계가 아니라 동일한 VLA pre-training 과정에서 함께 최적화합니다. VLM의 autoregressive 표현에는 전체 언어 손실과 축소된 행동 gradient를 전달하고 Action Expert에는 전체 행동 gradient를 전달해, 행동 적응 과정에서 일반 vision-language 기능이 과도하게 흔들리는 문제를 조절합니다.

예측 신호와 사람 교정으로 정책을 계속 개선

System 3이 생성한 subgoal image와 value-derived advantage는 task-specific post-training에서 System 1의 추가 조건으로 사용됩니다. 이후 human-in-the-loop rollout에서 얻은 성공·실패 구간을 Advantage-Weighted Regression으로 먼저 학습하고, 온라인 단계에서는 어려운 상태에 대한 사람의 corrective action과 actor-critic 업데이트를 결합해 배포 중 발생한 상태 분포에 정책을 맞춥니다.

핵심 아이디어 이해하기

일반적인 VLA는 현재 이미지와 언어 지시를 읽은 뒤 다음 행동을 출력하므로, 같은 장면이라도 이전에 무엇을 했는지와 지금 행동이 목표에 가까워졌는지를 충분히 구분하기 어렵습니다. GigaBrain-0.7은 이 문제를 Transformer 기반 시각 표현에 short-term visual memory를 추가하고, 고수준 지시를 현재 실행 가능한 subtask로 분해하는 방식으로 다룹니다. 과거 프레임의 정보를 Temporal-Spatial Blocks에서 현재 프레임 표현에 먼저 융합한 뒤 과거 토큰을 버리므로, history 길이에 비례해 VLA의 고수준 context length가 그대로 늘어나지 않습니다.

System 2는 현재 관찰과 task instruction을 입력으로 받아 관련 객체와 배치를 파악하고 즉시 수행할 subtask를 생성합니다. 예를 들어 “hang the item on the hanger”라는 지시가 들어오면 “pick up the red hat”과 같은 중간 목표를 만들고, 이 목표가 System 1의 행동 조건과 System 3의 예측 조건으로 전달됩니다. 따라서 고수준 언어 지시가 곧바로 저수준 제어로 건너뛰지 않고, 현재 단계에 맞는 행동 단위로 좁혀집니다.

System 3은 현재 상태만 평가하지 않고 같은 subtask horizon에 해당하는 미래 영상을 생성합니다. 예측 영상의 마지막 프레임을 subgoal image g_t로 추출해 현재 관찰과 함께 System 1에 넣고, 별도 value 경로에서 작업 진척도 V_t를 계산한 뒤 두 시점의 차이가 양수인지에 따라 advantage A_t를 0 또는 1로 변환합니다. 이 과정에서 subgoal image는 예상되는 물리적 결과를 시각 조건으로 제공하고 advantage는 현재 행동 구간이 진척을 높이는지 알려주는 이진 조건으로 작동합니다.

System 1은 PaliGemma2 (3B)와 Action Expert (0.5B)를 Mixture-of-Transformers로 결합합니다. Vision-language stream은 자체 토큰에 causal attention을 적용하고 Action Expert는 두 stream의 토큰을 함께 참조하므로, 언어·시각 의미를 유지하면서 연속 행동을 생성할 수 있습니다. NTP 경로는 언어와 discrete action을 autoregressive하게 예측하고 FM 경로는 noise-corrupted action chunk에서 연속 궤적을 복원해 실제 실행 행동을 출력합니다.

방법론

학습 데이터는 Real Robot, UMI, EGO, Simulation, world-model-generated trajectory와 VLM image-text/question-answering corpus를 함께 사용합니다. 원시 로봇 데이터는 LeRobot v3.0으로 변환하고 episode, frame, observation, action, language instruction, provenance, camera, state dimension, action dimension을 통일된 metadata로 정리합니다. left arm, right arm, head, waist, base or legs 순서의 unified robot representation에 joint state, end-effector pose, gripper state, base velocity, camera observation을 배치하며, 존재하지 않는 운동 차원은 validity mask 또는 placeholder로 구분합니다.

언어와 행동의 source 차이는 LLM-assisted standardization으로 처리합니다. rule-based 절차로 원시 지시를 추출한 뒤 GLM-5.1로 canonical task instruction을 작성하고 사람의 spot check를 거치며, multimodal large model이 manipulation video를 시간 구간별 subtask와 atomic action으로 나눕니다. q01/q99 extreme-value filtering으로 각 robot type과 action dimension의 1퍼센트 및 99퍼센트 바깥 이상치를 제거하고, inter-frame state difference와 joint range 정규화로 긴 stationary segment를 찾아 삭제합니다.

VLA pre-training에서는 System 1과 System 2를 먼저 전체 이기종 corpus로 공동 학습합니다. 언어·subtask·discrete action·VLM supervision에는 NTP objective를 적용하고, 정답 action chunk a_t:t+H와 같은 차원의 Gaussian noise ε를 섞어 중간 상태 a_t:t+H^τ를 만든 뒤 Action Expert가 a_t:t+H−ε를 예측하도록 FM objective를 적용합니다. 두 손실은 L_VLA = L_NTP + L_FM으로 결합되며, VLM에 들어가는 FM gradient에는 0보다 크고 1보다 작은 α_KI를 곱합니다.

System 3은 GigaWorld-1에서 출발해 두 단계로 학습합니다. 먼저 real-robot과 simulation video로 robot-centric future prediction을 수행해 subtask horizon에 맞는 미래 영상을 생성하고, 이어 trajectory completion annotation에서 얻은 task progress를 value pathway로 학습해 World Value Model을 구성합니다. 이후 System 3을 freeze한 채 task-specific post-training에서 g_t와 A_t를 System 1에 조건으로 전달하고 System 1과 System 2만 최적화하며, subgoal image는 0.50 확률로, value-derived condition은 0.15 확률로 dropout해 예측 신호에 대한 과의존을 줄입니다.

후속 경험 학습은 offline 단계와 online 단계로 나뉩니다. 배포된 정책의 HIL rollout을 성공·실패 및 진척도 구간으로 분류하고, cumulative return G_t와 value estimate Ṽ_t의 차이인 Ã_t = G_t − Ṽ_t를 사용해 높은 advantage 구간을 더 강하게 학습합니다. 그 다음 정책을 다시 배포해 사람이 실패 상태에 corrective action을 제공하고, chunk-level progress difference와 terminal sparse signal을 보상으로 삼는 actor-critic loop에서 rollout 수집과 업데이트를 반복합니다.

관련 Figure

Infographic
Operating-hours allocation은 Real Robot 20.5k h, UMI 8.3k h, EGO 2.9k h, Simulation 1.5k h, World Model 4.2k h의 비중을 시각화하며, 본문 표의 55.12%, 22.15%, 7.68%, 3.90%, 11.15%와 대응합니다. Atomic Actions와 Environment & Task Distribution은 grasp, pick, place 같은 행동과 kitchen, living, laundry, office, assembly, warehouse 환경이 corpus에 포함됨을 보여주고, 하단은 Maker H01·M01·U01·E01 및 여러 로봇 플랫폼을 함께 제시합니다.
37.3k total hours의 embodied trajectory와 271,976,674개의 VLM dataset을 데이터 종류·환경·행동·로봇 플랫폼별로 분해한 구성도입니다.

Diagram
왼쪽은 여러 로봇의 데이터를 LeRobot v3.0으로 통합한 뒤 episode, frame, metadata, observation, instruction을 공통 schema로 정리하는 흐름을 나타냅니다. 중앙에서는 left arm, right arm, head, waist, base or legs 순서로 state와 action 차원을 정렬하고, 오른쪽에서는 LLM-assisted instruction rewriting, subtask annotation, q01/q99 extreme-value filtering, stationary detection, unified TCP definition, training-loss-based anomaly filtering을 순차적으로 적용합니다.
다중 embodiment 로봇 데이터를 LeRobot v3.0 형식과 unified state-action representation으로 변환하고 품질 필터링하는 파이프라인입니다.

Diagram
EGO device 단계에서 Private, Ego-Dex, WiYH, Ego-Verse의 first-person 영상을 모은 뒤, Video quality filter가 occlusion, weak interaction, video corruption, 불충분한 상호작용을 제거합니다. Information imputation 단계에서는 hand pose, camera trajectory, hand-object association, relative position reasoning을 보완하고, 최종적으로 current observation, language description, future action을 하나의 training sample로 결합합니다.
EGO 영상을 상호작용 품질 필터링, 누락 정보 보완, 언어·현재 관찰·미래 행동을 포함한 unified ego data로 변환하는 과정입니다.

주요 결과

본문에 명시된 scaling study에서는 pretraining data scale이 커질수록 validation loss가 일관되게 감소하고 어려운 real-robot behavior의 신뢰성이 높아지는 경향이 보고되었습니다. Backbone 비교에서는 Clean Desk, Fruit Picking, Shirt Folding에서 PaliGemma2 3.5B가 50%, 88%, 30%, Qwen3.5 5B가 60%, 12%, 0%, Gemma 4 8.5B가 100%, 92%, 0%를 기록했으며, Gemma 4의 Clean Desk 수치는 limited-range position-generalization setting에서 평가되었습니다. 따라서 단순한 backbone 크기 증가만으로 모든 작업의 성능이 함께 높아지는 패턴은 이 비교에서 확인되지 않습니다.

제공된 teaser의 평균 성공률 막대그래프에서는 G0.5 8.3%, Xiaomi-Robotics-1 32.8%, GigaBrain-0.1 43.2%, π0.5 45.2%, GigaBrain-0.7 74.1%가 표시됩니다. 이 수치는 동일한 비교 그림에서 GigaBrain-0.7의 평균 SR이 74.1%로 집계되었음을 나타내며, 각 막대의 모델별 평균 성공률을 비교하는 방식입니다. 본문은 Maker H01과 AgileX PiPER/PiPER-X에서 zero-shot, language following, OOD generalization, long-horizon manipulation을 평가했다고 밝히지만, 제공된 본문 범위에는 해당 세부 표 전체가 포함되어 있지 않습니다.

데이터 구성에서는 전체 embodied trajectory가 37,256.98시간이며 Real Robot 55.12%, UMI 22.15%, EGO 7.68%, Simulation 3.90%, WM 11.15%로 나뉩니다. Real Robot 자료만 1,810,101 episodes와 2,077,837,071 frames, 20,535.65시간에 이르고 Maker H01이 frame 기준 43.82%, Maker M01이 20.14%, Agibot-G1이 18.30%를 차지합니다. 이 구성은 실제 접촉·제어 데이터에 near-hand demonstration, first-person human video, simulation, generated trajectory를 더해 서로 다른 로봇 형태와 관찰 조건을 한 학습 corpus에 넣은 결과입니다.

본문의 ablation 계획은 System 3의 future-state prediction과 value-derived conditioning을 각각 제거하거나 함께 사용하는 방식으로 두 신호의 기여를 비교하는 것입니다. 또한 후속 단계에서는 task-specific post-training과 offline·online experience reinforcement가 success rate를 얼마나 높이는지 평가하도록 구성되어 있습니다. 다만 제공된 전문은 6장 실험의 backbone 비교 중간에서 끝나므로, 이 ablation과 reinforcement learning의 전체 수치 결과는 확인할 수 없습니다.

관련 Figure

Screenshot
각 프레임은 동일한 작업 공간에서 양팔과 도구의 위치가 변하는 과정을 보여주며, 로봇 행동이 단일 이미지가 아니라 연속적인 state transition으로 평가되어야 함을 나타냅니다. t=1부터 t=10까지의 관찰 배열은 GigaBrain-0.7이 short-term visual memory, future-state prediction, action chunking을 통해 시간에 따른 조작 결과를 고려하는 연구 맥락과 직접 연결됩니다.
로봇이 식기와 컵이 놓인 작업대에서 도구를 이동하는 과정을 t=1부터 t=10까지 시간 순서로 배열한 실행 시퀀스입니다.

기술 상세

System 1의 VLM stream과 Action Expert stream은 각 layer에서 서로 다른 FFN parameter를 유지하면서 attention으로 연결됩니다. VLM stream은 자체 hidden states에 CausalAttn을 적용하고, Action Expert는 자신의 hidden states를 query로 사용해 VLM과 Action Expert의 concatenated sequence에서 key와 value를 읽습니다. 이 구조는 pretrained VLM의 autoregressive interface를 보존하면서 Action Expert가 전체 semantic context를 참조하도록 하며, residual connection과 layer normalization은 제시된 식에서 생략되어 있습니다.

연속 행동 학습은 정답 action chunk a_t:t+H와 Gaussian noise ε를 같은 차원으로 준비하는 데서 시작합니다. 시간 변수 τ가 0에서 1 사이일 때 중간 입력은 a_t:t+H^τ = τa_t:t+H + (1−τ)ε로 계산되므로 τ=0에서는 noise에 가깝고 τ=1에서는 정답 행동에 가까워지며, Action Expert는 이 입력에서 a_t:t+H−ε라는 flow field를 예측합니다. 예를 들어 τ가 0.5이면 정답 행동과 noise를 같은 비율로 섞은 상태를 입력으로 받아 두 벡터의 차이 방향을 추정하고, 이 방향을 따라 연속 궤적을 복원합니다.

언어와 discrete action에는 masked next-token loss를 사용합니다. target sequence y_1:M의 각 위치 j에서 m_j가 1인 supervised position만 log p_θ(y_j | c, y_<j)에 포함하고, captioning·VQA·subtask·discrete action 등 data source별 target을 같은 NTP 경로로 처리합니다. continuous action 경로의 손실과 합치면 L_VLA = L_NTP + L_FM이 되며, VLM parameter에 대한 gradient는 ∇θVL L_NTP + α_KI∇θVL L_FM으로 계산되어 행동 손실이 VLM을 업데이트하는 세기를 α_KI만큼 줄입니다.

System 3의 value estimate V_t는 두 시점의 진척도 차이로 이진 advantage를 만듭니다. $A_t=\mathbb{1}[V_{t+\delta_t}-V_t>0]$ 에서 V_t와 V_t+δt는 action-chunk 구간 앞뒤의 task progress이고, δ_t는 두 시점의 시간 간격이며, indicator는 차이가 양수일 때 1을 출력합니다. 예를 들어 앞 시점의 value가 0.4이고 뒤 시점이 0.6이면 A_t=1이 되어 진척을 높인 행동 구간으로 조건화하고, 뒤 시점이 0.3이면 A_t=0이 되어 non-improving 또는 regressing 구간으로 구분합니다.

다중 embodiment 처리는 상태와 행동의 차원을 shared model space로 옮기되 로봇별 실행 차이는 projection에 남기는 방식입니다. validity mask는 값이 실제로 0인 상태와 해당 로봇에 존재하지 않는 차원을 구분하고, invalid action dimension은 FM supervision과 noise injection에서 제외합니다. 회전은 연속 6D representation으로 통일하며, 주 Action Expert parameter는 공유하고 embodiment-specific input·output projection이 native action dimension과 control convention을 변환합니다.

관련 Figure

Diagram
System 2의 PaliGemma2 (3B)는 현재 관찰과 task instruction을 받아 CoT와 subtask를 만들고, System 3의 GigaWorld-1 (5B)은 current observation과 state에서 future observation 및 value를 산출합니다. System 1은 memory와 current observation, state와 robot ID, subtask, predicted future observation, advantage를 함께 받아 NTP-based discrete action과 FM-based continuous action을 생성하며, 오른쪽의 HIL Rollout·Offline RL·Online RL이 실행 결과를 다시 학습으로 연결합니다.
System 1, System 2, System 3과 NTP·FM 행동 경로, state·memory·subtask·future observation·value 조건의 연결을 나타낸 전체 모델 구조입니다.

한계점

논문은 full online reinforcement learning formulation과 human-intervention protocol의 상세 내용을 향후 별도 GigaBrain report에서 제공한다고 명시합니다. 또한 제공된 본문 범위는 실험 장의 backbone 비교 중간에서 끝나므로 System 3 ablation, OOD 평가, post-training, offline·online reinforcement의 전체 수치 결과를 확인할 수 없습니다. teaser의 평균 SR 수치는 비교 그림에 표시되어 있지만, 각 task와 trial 구성의 세부 결과는 본문에 모두 포함되어 있지 않습니다.

실무 활용

GigaBrain-0.7은 서로 다른 로봇 embodiment와 카메라·상태·행동 차이를 unified representation과 embodiment-specific projection으로 정렬한 뒤, 같은 Action Expert를 공유하는 정책 구조를 사용합니다. 따라서 하나의 로봇에만 맞춘 제어기보다 다중 플랫폼 사전학습과 target platform 후속 Fine-tuning을 연결하는 연구·개발 파이프라인에 적합합니다. 실제 배포 후에는 HIL corrective data를 offline과 online reinforcement에 다시 넣어 실패 상태 중심으로 정책을 갱신합니다.

Maker H01이나 AgileX PiPER/PiPER-X에서 언어 지시 기반 tabletop 및 household manipulation 정책을 사전학습 후 task-specific post-training으로 조정하는 경우
서로 다른 degree of freedom, end-effector, camera configuration을 가진 로봇 데이터를 LeRobot v3.0과 unified robot representation으로 통합하는 경우
subgoal image와 task-progress value를 사용해 긴 조작 작업의 단기 행동을 조건화하고 실패 구간의 recovery behavior를 학습하는 경우
실제 로봇 rollout과 사람의 corrective action을 수집해 Advantage-Weighted Regression 및 actor-critic 기반 정책 개선을 수행하는 경우

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Diagram
Pretrain에서 VLM과 Action Expert를 포함한 GigaBrain-0.7 Pretrained VLA를 만들고, task-specific demonstration으로 Finetuned VLA를 구성한 뒤 HIL Rollout을 통해 Offline Stage의 Offline Stage VLA와 Progress Discriminator를 학습합니다. Online Stage에서는 offline-derived progress와 embeddings로 dense reward를 만들고, online HIL rollout의 action을 critic·actor 업데이트에 넣어 배포 정책이 자신의 실패 상태와 사람 교정에서 계속 학습하도록 구성합니다.
GigaBrain-0.7의 pretrain, offline stage, online stage를 연결하는 experience reinforcement pipeline입니다.

키워드

Vision-Language-Action Model(시각-언어-행동 모델)Embodied Foundation Model(체화형 기반 모델)Three-System Architecture(3체계 아키텍처)Multi-Embodiment Learning(다중 embodiment 학습)Flow Matching(Flow Matching)World Model(World Model)Experience-Driven Reinforcement Learning(경험 기반 강화학습)

용어 해설

시각-언어-행동 모델(Vision-Language-Action Model): — Vision-Language-Action Model은 이미지와 언어 지시를 입력받아 로봇이 실행할 행동을 출력하는 모델이다. 시각·언어 표현을 연속적인 모터 제어와 연결해 물리적 작업을 수행하며, GigaBrain-0.7에서는 이해·예측·제어를 하나의 학습 체계로 결합하는 기반이 된다.
Flow Matching: — Flow Matching은 잡음이 섞인 행동 표현을 목표 행동으로 이동시키는 벡터장을 학습하는 생성 방식이다. 입력 행동 청크와 Gaussian noise 사이의 중간 상태를 만들고, 모델이 두 상태의 차이를 예측하도록 최적화해 연속적인 로봇 궤적을 생성한다.
World Model: — World Model은 현재 관찰과 행동 맥락에서 이후의 시각 상태나 작업 진행도를 예측하는 모델이다. GigaBrain-0.7의 System 3은 미래 영상을 생성해 subgoal image를 만들고, 별도의 value 경로로 현재 상태의 작업 진척도를 추정해 행동 생성에 조건으로 전달한다.
Soft Knowledge Insulation: — Soft Knowledge Insulation은 연속 행동 학습의 gradient가 사전학습된 Vision-Language Model에 미치는 영향을 완전히 차단하지 않고 계수로 줄이는 방식이다. Action Expert에는 전체 gradient를 전달하고 VLM에는 α KI를 곱한 gradient만 전달해 embodied control 적응과 일반 시각·언어 능력 보존을 함께 조정한다.
Advantage-Weighted Regression: — Advantage-Weighted Regression은 오프라인 경험에서 예상되는 이득이 큰 행동 구간에 더 큰 학습 가중치를 주는 정책 최적화 방식이다. GigaBrain-0.7은 성공하거나 진척도가 높은 rollout에는 높은 가중치를, 실패하거나 진척도가 낮은 구간에는 낮은 가중치를 부여해 온라인 탐색 전에 정책을 보정한다.

GigaBrain-0.7의 3체계 로봇 지능 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

로봇 학습의 병목 현상을 해결하기 위한 4가지 핵심 인터페이스 제안.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

로봇 학습의 병목 현상을 해결하기 위한 4가지 핵심 인터페이스 제안.