로봇 데이터 한계를 표현 학습으로 넘는 VLAct

왜 중요한가

로봇 궤적은 웹 이미지·텍스트처럼 대규모로 수집하기 어렵고 물리적 상황을 촘촘히 포괄하지 못합니다. VLAct는 고정된 데이터와 16-GPU 환경에서 VLM의 시각·언어 prior를 보존하면서 행동 표현을 여러 헤드와 embodiment에 재사용하도록 학습해, 데이터 규모만 늘리는 방식과 다른 개선 축을 제시합니다.

핵심 기여

VLM prior를 보존하는 계속 사전학습

vision encoder와 LLM 하위 절반을 고정하고 captioning 데이터를 로봇 궤적과 섞어 학습합니다. 이 구조는 좁은 로봇 데이터가 넓은 시각·언어 표현을 덮어쓰는 현상을 줄이며 LIBERO-Plus에서 3.7%, Agilex에서 3.4%의 downstream 성능 향상으로 이어졌습니다.

여러 연속 행동 헤드의 공동 감독

공유 backbone의 같은 잠재 표현에 OFT, PI, GR00T 헤드를 연결하고 동일한 행동 정답을 동시에 예측하게 합니다. 한 헤드의 decoding geometry에 표현이 붕괴하는 것을 막아 다른 헤드로의 전이와 동일 헤드 fine-tuning 성능을 함께 높입니다.

부분적으로 통합한 cross-embodiment 행동 공간

여러 로봇에서 물리적 의미가 같은 gripper 차원은 공유하고, 관절 구조가 다른 arm 차원은 분리한 뒤 비활성 차원의 손실을 마스킹합니다. 호환되지 않는 좌표까지 억지로 맞추지 않으면서 embodiment 간 행동 감독을 공유합니다.

공개 데이터와 제한된 compute에서의 검증

DROID, InternA1, RoboCoin, MolmoAct와 captioning 데이터를 사용하고 16 GPUs로 학습합니다. LIBERO-Plus 82.6%, RoboTwin 2.0 Clean 92.5%, RoboCasa-GR1 20% 데이터 49.5%를 기록해 backbone 설계만으로 downstream 개선을 측정합니다.

핵심 아이디어 이해하기

일반적인 VLM은 웹 규모의 이미지·텍스트에서 물체, 속성, 공간 관계를 폭넓게 학습하지만, 로봇 궤적은 물리적 실행과 teleoperation이 필요해 수집량과 상황 범위가 제한적입니다. 따라서 VLA의 backbone은 본 궤적의 행동을 그대로 맞히는 데서 그치지 않고, 새로운 장면과 작업에서 재사용할 시각·행동 표현을 만들어야 합니다.

기존의 단일 action head 학습에서는 backbone의 같은 잠재 표현이 특정 decoder가 선호하는 방향으로 정렬될 수 있습니다. FAST 같은 이산 토큰 방식은 행동의 거친 구조를 넣지만 시간·진폭의 세밀한 정보를 잃고, OFT 같은 연속 헤드는 정밀한 정보를 유지하는 대신 다른 PI나 GR00T 헤드로 옮길 때 표현이 잘 맞지 않을 수 있습니다.

VLAct는 같은 입력에서 나온 공유 표현 z를 OFT, PI, GR00T가 함께 읽고 동일한 행동 chunk를 예측하게 합니다. 여러 출력 방식에서 동시에 손실을 줄이려면 backbone이 한 헤드에만 맞는 특징이 아니라 여러 행동 parameterization에서 해독 가능한 정보를 보존해야 하므로, head transfer를 위한 표현이 형성됩니다.

로봇 형태가 달라질 때는 모든 행동 좌표를 하나로 합치지 않습니다. open/close처럼 의미가 비교 가능한 gripper 차원만 같은 좌표에서 학습하고, 서로 다른 운동학을 가진 arm 차원은 별도로 유지하며 없는 차원의 손실을 제외합니다. 그 결과 backbone은 공유 가능한 행동 의미와 embodiment별 차이를 함께 보존합니다.

방법론

VLAct는 사전학습된 Qwen3-VL-4B에서 시작해 DROID, InternA1, RoboCoin, MolmoAct의 여러 embodiment 로봇 궤적과 captioning 데이터를 함께 사용합니다. continued pre-training 동안 vision encoder와 LLM 하위 절반은 고정하고 상위 LLM 층과 행동 헤드를 업데이트합니다. 이후 downstream fine-tuning에서는 caption stream과 사전학습용 헤드를 버리고, 새로 초기화한 task-specific action head를 붙인 뒤 전체 모델을 학습합니다.

표현 보존을 위해 captioning 샘플을 로봇 데이터에 섞습니다. 캡션은 물체, 속성, 공간 관계, 장면 맥락에 대한 조밀한 시각·언어 감독을 제공하므로, 제한적인 조작 장면에 맞추는 동안 원래 VLM의 prior가 크게 이동하지 않도록 학습 신호를 보강합니다. 하위 층 고정은 저수준 시각 처리와 초기 vision-language alignment를 보호하고, 상위 층이 action-conditioned reasoning에 적응하도록 역할을 나눕니다.

행동 표현에는 OFT, PI, GR00T 세 연속 헤드를 병렬로 연결합니다. 동일한 vision-language 입력에서 backbone이 공유 잠재 표현 z를 만들고, 각 헤드가 같은 정답 행동 a를 예측합니다. 전체 행동 손실은 원문 식에 따라 $[?]$ 로 표기하지 않고, 세 헤드 손실의 합인 L_action = L_OFT + L_PI + L_GR00T로 계산합니다. 같은 backbone forward pass를 공유하므로 추가 비용은 헤드별 계산에 한정됩니다.

embodiment 간에는 부분 통합 action layout을 사용합니다. 물리적으로 대응하는 gripper 차원은 공통 좌표로 학습하고, 관절 수나 운동학이 다른 arm 차원은 embodiment별 좌표로 남깁니다. 각 샘플은 자기 로봇에서 활성인 차원에만 손실을 내고 inactive 차원은 마스킹합니다. 절대 관절각처럼 주기적인 차원에서는 각도 잔차를 360° 기준으로 계산해 179°와 -179°를 실제로 가까운 값으로 처리합니다.

주요 결과

LIBERO-Plus에서 VLAct는 전체 성공률 82.6%를 기록해 같은 Qwen3-VL 계열과 OFT head를 쓰는 Qwen3VL-OFT의 75.0%보다 7.6%p 높았습니다. Camera 73.9%, Robot 68.4%, Noise 96.7%, Layout 83.3%로 나타났으며, Alibaba의 Abot-M0 80.5%보다 2.1%p 높았습니다. 두 비교 모델의 backbone 계열과 downstream head가 같아 차이는 continued pre-training 표현에 귀속됩니다.

RoboTwin 2.0에서 VLAct-OFT는 50개 clean trajectory per task를 쓰는 Base 설정에서 Clean 80.5%, Random 41.5%를 기록했고, 추가 randomized trajectory를 쓰는 Data Scaling 설정에서는 Clean 92.5%, Random 90.8%를 기록했습니다. VLAct-PI의 Data Scaling Clean 성능은 93.0%로 OFT보다 높았고, OFT·PI·GR00T 세 헤드의 성능 차이는 최대 3.4점 이내였습니다.

실제 Franka Research 3 실험에서 single-arm short-horizon in-domain 평균 성공률은 VLAct 92.5%, 비사전학습 Qwen3VL-4B-OFT 77.5%였습니다. novel object from pot와 novel object in cup에서는 각각 90.0% 대 73.3%, 90.0% 대 65.0%였고, dual-arm coordination에서는 72.0% 대 44.0%였습니다. long-horizon 점수도 table cleaning 86.6%, scooping beans 80.0%로 baseline의 73.3%, 33.3%보다 높았습니다.

학습에 포함하지 않은 GR-1에서 RoboCasa-GR1 전체 데이터 fine-tuning 성능은 54.0%였고, 20% 데이터만 사용해도 49.5%를 기록했습니다. 이는 full-data GR00T-N1.6의 47.6%와 full-data Qwen3VL-OFT의 48.8%를 넘는 수치입니다. RoboDojo에서는 평균 점수 10.66, 성공률 7.60%로 35개 정책 중 성공률 6위였으며, 명시된 WAM 항목 중 최고인 X-WAM의 7.69점·3.83%보다 두 지표 모두 높았습니다.

기술 상세

VLAct의 핵심 비교는 action head가 backbone 표현의 형태를 결정한다는 pilot study입니다. Qwen3-VL-4B backbone을 고정한 LIBERO-Plus 실험에서 FAST 사전학습 backbone을 연속 GR00T head와 연결하면 처음부터 GR00T를 fine-tuning하는 경우보다 소폭 나아지지만, FAST head를 그대로 유지하면 연속 head보다 성능이 낮았습니다. RoboTwin-Clean에서는 OFT 사전학습이 downstream OFT에는 큰 이득을 주지만 PI나 GR00T로 바꾸면 성능이 떨어져, 단일 헤드 학습이 head-specific representation collapse를 만들 수 있음을 확인했습니다.

공동 감독에서는 같은 backbone latent z와 행동 정답 a를 세 헤드가 공유합니다. 각 헤드의 손실을 더해 L_action = L_OFT + L_PI + L_GR00T를 최소화하면 한 decoder에만 유용한 방향으로 표현을 정렬하기 어렵습니다. 입력은 동일한 image-language observation, 처리는 공유 backbone과 세 가지 연속 action parameterization, 출력은 같은 action chunk에 대한 세 예측이며, 이 구조가 head transfer와 동일 헤드 성능을 동시에 평가할 수 있게 합니다.

VLM prior 보호는 vision encoder 전체와 LLM lower half를 freeze하는 방식으로 구현됩니다. 상위 LLM 층은 로봇 행동 조건에 맞게 업데이트되고, downstream fine-tuning에서는 전체 파라미터를 다시 unfreeze합니다. captioning 데이터는 물체·속성·공간 관계를 계속 감독해 로봇 데이터의 좁은 시각 분포가 backbone을 과도하게 이동시키는 것을 억제합니다.

cross-embodiment layout은 완전 분리 head와 naive full-unification 사이의 절충입니다. gripper open/close처럼 물리적 의미가 대응하는 좌표는 여러 로봇이 같은 감독을 받지만, arm의 자유도나 운동학이 다르면 별도 차원으로 둡니다. 샘플별 inactive dimension을 마스킹하므로 존재하지 않는 관절에 가짜 정답을 만들지 않습니다.

주기 관절각의 회귀에서는 일반적인 절댓값 차이를 그대로 쓰지 않습니다. 179°와 -179°를 입력값으로 받으면 일반 방식은 358° 차이를 출력하지만, VLAct의 wrap-aware 계산은 360° 주기에서 가장 가까운 잔차인 2°를 사용합니다. 이 보정은 absolute joint dimension에만 적용되어 각도 경계에서 불필요하게 큰 gradient가 생기는 문제를 줄입니다.

학습은 fully open-source data와 16 GPUs 환경에서 수행했으며, downstream 비교에서는 action head와 fresh initialization, 데이터, optimizer, fine-tuning budget을 고정하고 backbone만 바꿨습니다. 논문은 이 통제 아래 7.6–21.4 point gains를 backbone 차이에 따른 결과로 해석하지만, RoboDojo leaderboard는 training compute를 정규화하지 않았고 Memory 영역은 명시적인 한계로 남았습니다.

한계점

RoboDojo leaderboard는 정책별 training compute를 정규화하지 않았습니다. 또한 VLAct의 RoboDojo Memory 성능은 0.66점·0.56% 성공률로 낮아, 장기 기억이 필요한 과제에서는 뚜렷한 한계가 남아 있습니다.

실무 활용

공개 로봇 데이터로 여러 embodiment를 아우르는 VLA backbone을 구축한 뒤, 목표 로봇과 작업에 맞는 action head를 새로 붙여 fine-tuning하는 흐름에 활용할 수 있습니다. 특히 downstream trajectory가 제한되거나 학습에 없던 로봇 형태로 전이해야 하는 환경에서 backbone 초기화의 효과를 비교하기 좋습니다.

Franka·AgileX 궤적으로 backbone을 계속 사전학습한 뒤 GR-1처럼 학습에 없던 humanoid embodiment에 적은 trajectory로 fine-tuning하는 경우
OFT, PI, GR00T 중 deployment 조건에 맞는 action head를 선택하면서 공통 backbone 표현을 재사용하는 경우
LIBERO-Plus의 camera·noise·layout 변화처럼 시각적 distribution shift가 있는 조작 작업을 평가하는 경우
captioning 데이터와 공개 로봇 궤적을 결합해 제한된 로봇 데이터에서 VLM의 시각·언어 표현을 보존하는 경우

코드 공개 여부: 공개

코드 저장소 보기

키워드

VLAct(표현 중심 VLA 계속 사전학습)Vision-Language-Action(비전·언어·행동 모델)Qwen3-VL-4B(기반 VLM)Cross-Embodiment Transfer(로봇 형태 간 전이)Action Head Transfer(행동 헤드 전이)RoboDojo(로봇 정책 평가 벤치마크)

용어 해설

비전-언어-행동 모델(Vision-Language-Action): — 이미지와 언어 입력을 바탕으로 로봇 행동을 출력하는 모델입니다. VLM의 시각·언어 표현에 로봇 궤적 학습을 결합해 물체, 공간 관계, 작업 지시를 실제 제어 명령으로 연결합니다. VLAct는 이 backbone을 여러 로봇 형태와 행동 출력 방식에 재사용할 수 있도록 계속 학습합니다.
계속 사전학습(Continued Pre-training): — 처음부터 foundation model을 학습하는 대신, 이미 학습된 VLM을 로봇 궤적과 추가 데이터로 다시 학습하는 단계입니다. 이 과정에서 backbone 내부에 행동 관련 지식을 넣은 뒤, downstream 작업에서는 새 action head를 붙여 task-specific fine-tuning을 수행합니다.
행동 출력 헤드(Action Head): — backbone의 잠재 표현을 로봇의 실제 행동 시퀀스로 변환하는 출력 모듈입니다. FAST처럼 이산 토큰을 쓰거나 OFT, PI, GR00T처럼 연속값을 예측하는 방식이 있으며, 사전학습에 사용한 헤드의 구조가 backbone 표현을 특정 decoding geometry에 치우치게 만들 수 있습니다.
로봇 형태 간 전이(Cross-Embodiment Transfer): — 학습에 사용하지 않은 로봇 형태로 시각·행동 지식을 옮기는 능력입니다. 로봇마다 관절 수와 운동학이 다르므로 모든 출력 좌표를 억지로 공유하지 않고, 의미가 같은 gripper 차원만 공유하며 호환되지 않는 arm 차원은 분리·마스킹하는 방식이 핵심입니다.
주기 관절각 인식 손실(Wrap-aware Loss): — 주기적인 관절각에서 각도의 경계가 가깝다는 점을 반영하는 회귀 손실입니다. 일반 회귀는 179°와 -179°를 358° 차이로 계산하지만, 실제 회전 차이는 2°입니다. VLAct는 periodic joint 차원의 잔차를 360° 기준으로 계산해 불연속적인 오차를 줄입니다.

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

GigaBrain-0.7의 3체계 로봇 지능 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

GigaBrain-0.7의 3체계 로봇 지능 확장