할 일을 배우기 전에 움직임을 학습하기: Vision-Language-Action을 위한 Task-Agnostic Pretraining

왜 중요한가

대형 Vision-Language-Action 모델의 성능은 전문적 인간 시연 데이터의 규모에 의해 엄격히 제한되는 경향이 있다. 이 논문은 물리적 동작 능력과 언어적 의미 정렬을 분리하여 값싼 무라벨 상호작용으로 먼저 물리적 모터 프라이어를 학습하면 전문가 라벨 의존도를 크게 낮출 수 있음을 실험적으로 입증했다. 그 결과 적은 전문가 데이터로도 행동 복제 대비 평균 성능이 10%p 향상되고, 실제 로봇에서 심한 시각 교란 상황에서도 더 높은 견고성을 유지했다.

핵심 기여

Decomposition Hypothesis를 통해 동작과 의미의 분리 학습을 제안

논문은 행동 생성 문제를 'how to move'와 'what to do'로 분해하는 Decomposition Hypothesis를 명시했다. 이 가설에 따라 라벨 없는 상호작용만으로도 물리적 프라이어를 학습할 수 있으며 언어 정렬은 최소한의 전문가 데이터로 가능함을 제시했다. 해당 분리는 데이터 수집과 학습 효율 측면에서 실용적 이점을 제공하며 실험적으로 검증되었다.

Task-Agnostic Pretraining(TAP) 두 단계 프레임워크 설계

TAP은 Stage 1에서 Inverse Dynamics 자기지도학습으로 물리적 표현을 학습하고 Stage 2에서 소량의 언어 주석 전문가 데이터로 행동을 정렬하는 두 단계 구조를 정의했다. Stage 1은 기존에 폐기되던 task-irrelevant 궤적과 자율 랜덤 플레이를 활용하여 대규모 저비용 데이터를 확보한다. Stage 2는 사전학습된 표현을 재사용하여 의미 공간에서 동작 공간으로 가벼운 투영을 학습하므로 라벨 효율성이 크게 향상된다.

시뮬레이션 및 실세계에서의 정량적 성능 우수성 입증

SIMPLER 벤치마크 및 WidowX 250 로봇에서 TAP의 성능을 광범위하게 평가했다. TAP-20k는 Avg-All 33.32%를 달성하여 동일 아키텍처의 Standard BC(23.15%) 대비 절대 10%p 향상을 기록했고, 일부 대형 사전학습 모델보다 높은 성능을 보였다. 실세계 실험에서는 30시간의 자율 플레이를 사용해 여러 교란 조건에서 인터넷 규모 사전학습 기반 모델 대비 더 높은 견고성을 보였다.

시각적 주의도 분석으로 물리적 프라이어의 전이성 확인

Grad-CAM 기반 시각화에서 Stage 1만으로도 그리퍼와 조작 대상에 대한 주의가 자동으로 형성되는 것이 관찰되었다. Stage 2의 언어 조건은 이 물리적 관심 영역을 더 좁혀 정확한 실행 지점으로 집중시키는 역할을 수행했다. 이 관찰은 사전학습된 표현이 도메인 불변적 물리 구조를 포착함을 지지한다.

핵심 아이디어 이해하기

기존 VLA 학습은 관찰·언어·행동의 정렬된 전문가 삼중항에 의존하는데, 이 데이터는 수집 비용과 확장성 한계 때문에 일반화에 병목을 일으켰다. 본문은 물리적 제어 능력과 언어적 의미 정렬을 분리하면 물리적 능력은 무라벨 상호작용으로 먼저 학습할 수 있고 의미 정렬은 이후 소량의 라벨로 수행할 수 있음을 출발점으로 삼았다. 이는 인간 유아의 자발적 탐험이 운동 능력을 먼저 확립하는 발달적 관찰에 착안한 접근이다.

방법론

프레임워크는 두 단계로 구성된다. 첫째, Stage 1에서는 Inverse Dynamics 목표를 사용해 (o_t, o_{t+1}) 쌍으로부터 행동 a_t을 예측하도록 VLM 기반 백본을 자기지도학습한다. 이때 시각 인코더 φ는 두 관찰 사이의 변화량, 즉 엔드이펙터 및 객체의 이동에 집중하도록 유도되며 평균제곱오차(‖â_t−a_t‖_2^2)를 최소화해 물리적 프라이어를 획득한다.

관련 Figure

Diagram
이 도식은 논문 전체 방법론의 구조적 흐름을 시각적으로 요약해 Stage 1과 Stage 2가 입력 형태와 목표 함수 측면에서 어떻게 다른지를 명확히 한다. 특히 Stage 1에서는 미래 관찰을 'implicit visual goal'로 사용해 물리적 프라이어를 학습하고 Stage 2에서는 텍스트 인코딩으로 조건을 바꿔 소량의 라벨로 의미 정렬을 수행한다. 이 그림은 본문에서 기술한 데이터 원천과 학습 목적의 분리를 직관적으로 뒷받침한다.
TAP 프레임워크 개요를 도식화한 그림으로 데이터 소스, Stage 1의 Inverse Dynamics 사전학습, Stage 2의 언어 정렬 흐름을 한눈에 보여준다.

주요 결과

시뮬레이션 SIMPLER 실험에서 TAP-20k 모델은 Avg-All 33.32%를 기록해 동일 아키텍처의 Standard BC(23.15%)보다 절대 10.17%p 우수한 성능을 보였다. 본문 표는 TAP가 사전학습 에피소드 수 증가(8k→14k→20k)에 따라 성능이 일관되게 향상됨을 보고해 Stage 1의 노출량이 다운스트림 상한을 결정함을 지적했다. 실세계 WidowX 평가에서는 Stage 1에 30시간 자율 플레이를 사용하고 Stage 2에 200개의 전문가 시연만으로 다양한 교란 조건에서 평균 성공률이 크게 향상되어 견고성이 확인되었다.

관련 Figure

Chart
그래프는 사전학습 단계 수(30k, 60k, 100k 등)가 증가할수록 파인튜닝 후 최종 성능 상한이 상승하는 경향을 시각적으로 확인시킨다. 또한 Baseline(사전학습 없는 모델)은 초기 학습 속도는 유사하나 일찍 포화되는 반면, 사전학습 모델들은 더 높은 성능으로 계속 개선된다는 본문 주장과 일치한다. 이 결과는 Stage1 스케일이 다운스트림 성능 한계를 설정한다는 핵심 주장을 실험적으로 지지한다.
Stage 2 파인튜닝 단계에서 다양한 Stage1 사전학습 단계별로 Avg-All 성공률의 수렴 동역학을 보여주는 선형 그래프이다.

Chart
히트맵은 가로축이 Stage2 파인튜닝 스텝, 세로축이 Stage1 사전학습 스텝을 나타내며 짙은 색 영역이 높은 성공률을 의미한다. 이 시각화는 Stage1 축을 따라 성능 증가가 더 두드러짐을 보여주어 사전학습 데이터 양이 다운스트림 성능의 주요 결정인자임을 실증적으로 보여준다. 따라서 사전학습의 규모가 충분하지 않으면 파인튜닝을 길게 해도 성능 향상이 제한된다는 논문의 결론과 직결된다.
Stage1와 Stage2의 단계별 조합에 따른 Avg-All 성공률을 히트맵 형태로 나타낸 결과이다.

기술 상세

모델 아키텍처는 Qwen2.5-VL(3B) 계열 VLM 백본과 SigLIP 시각 인코더를 결합해 시각 토큰 φ(o)와 텍스트 토큰 ψ(l)을 동일 차원 공간으로 매핑했다. 액션은 7차원 델타 포즈(Δx,Δy,Δz, axis-angle(3), gripper)로 표현되어 지역적 상호작용 역학을 학습하는 데 적합하다. Stage 1에서는 (o_t,o_{t+1})를 시각-목표 조건으로 사용해 f_θ(φ(o_t),φ(o_{t+1}))로 â_t를 예측하고 MSE 손실로 학습했다. Stage 2에서는 입력 구조를 φ(o_t)와 ψ(l)로 전환해 동일한 백본과 행동 헤드를 재사용하면서 소량의 전문가 데이터로 Behavior Cloning 손실을 최소화해 의미-동작 정렬을 수행했다.

관련 Figure

Infographic
Grad-CAM 결과는 Stage1에서 언어 입력 없이도 그리퍼와 조작 대상에 주의가 집중되는 반면 Stage2에서는 언어 조건이 해당 실행 지점으로 주의를 더욱 수렴시킨다는 점을 보여준다. 이 관찰은 inverse dynamics 기반 사전학습이 물리적 관심 영역을 형성하고 언어 미세조정이 그 관심을 실행 좌표로 세밀하게 조정한다는 본문의 메커니즘 해석을 뒷받침한다. 또한 시뮬레이션과 실세계 모두에서 유사한 패턴이 관찰되어 도메인 간 전이가 이루어졌음을 시사한다.
Original image, Task-Agnostic pretrained 상태의 Grad-CAM, Task-Specific Alignment 후의 Grad-CAM을 비교한 시각화로 시각적 주의의 변화를 보여준다.

한계점

논문은 실제 오류 분석에서 실패 사례를 Execution Failures(약 25%)와 Semantic Failures(약 75%)로 구분했다. Execution Failures는 미세 접촉·깊이 불확실성·정밀 그립에서 발생하며 TAP가 일부 완화했으나 완전 해소되지는 않았다. Semantic Failures는 시각적 교란에서 잘못된 객체를 선택하거나 장기 의도 추적에서의 반복 고착으로 나타났으며, 이는 단일 반응형 VLA의 추론적·장기 계획 능력의 한계를 반영한다.

실무 활용

TAP는 제한된 전문가 라벨만으로도 물리적 조작 성능을 높이는 실무적 경로를 제공한다. 자율 랜덤 플레이로 얻은 데이터를 안전한 수집 파이프라인으로 축적하면 대규모 전문가 시연을 수집하는 비용을 크게 절감할 수 있다. 논문에서 공개한 GitHub 저장소를 통해 코드와 재현 가능성 자료가 제공되어 실험적 적용이 가능하다.

로봇 실험실에서 무라벨 자율 플레이를 장시간 기록하고 적은 수의 전문가 시연으로 여러 작업에 빠르게 적응시키는 데이터 효율적 파인튜닝 워크플로
산업용 조립 라인에서 유사한 물리적 상호작용을 자동 수집해 물체별 조작 프라이어를 사전학습한 뒤 작업자 라벨을 최소화해 신작업에 적응
로봇 교육 플랫폼에서 비용이 큰 원격 조종 시연을 줄이고 시뮬레이션과 실세계 전이에 강한 물리적 표현을 확보

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Photo
사진들은 실험에서 사용된 두 가지 조작 과제(put carrot on plate, push pumpkin)와 각 교란 유형이 어떻게 적용되는지를 구체적으로 보여준다. 이 자료는 실세계 평가의 타당성을 뒷받침하며 교란 설정이 실제 조작 장면에서 접촉과 시각적 복잡성을 어떻게 유발하는지 확인하게 해준다. 따라서 본문에 보고된 견고성 실험 결과의 맥락을 이해하는 데 필수적이다.
실세계 실험 설정과 다양한 교란 종류(시각적 방해물, 배경 질감 변화, 시점 변화)를 보여주는 사진 모음이다.

키워드

Vision-Language-Action(Vision-Language-Action)Task-Agnostic Pretraining(Task-Agnostic Pretraining)Inverse Dynamics(Inverse Dynamics)Behavior Cloning(Behavior Cloning)SIMPLER(SIMPLER 벤치마크)

용어 해설

역동역학 추정(Inverse Dynamics): — 두 시점의 관찰(ot, ot+1)을 입력으로 받아 그 사이에 발생한 행동(at)을 예측하는 자기지도학습 목표이다. 이 목표는 시각 인코더가 배경 잡음을 무시하고 엔드이펙터 움직임과 객체 변위 같은 동적 요소에 집중하도록 강제한다. 본문에서는 이 손실을 평균제곱오차(MSE)로 최적화하여 물리적 모터 프라이어를 학습하는 핵심 메커니즘으로 사용됐다.
행동 복제(BC)(Behavior Cloning): — 전문가 시연(관찰, 언어, 행동) 쌍을 지도학습으로 모방하는 방식으로 정책을 학습하는 방법이다. 본문에서는 Stage 2에서 언어 조건을 포함한 소량의 전문가 데이터를 사용하여 사전학습된 표현을 동작 공간에 정렬하기 위해 BC 손실을 최소화했다. 이 방법은 태스크별 의미 정렬을 학습하지만 물리적 동작 능력은 사전학습에 의해 크게 좌우된다.
Open X-Embodiment (OXE)(Open X-Embodiment): — 다양한 로봇 몸체와 시연을 통합한 대규모 전문가 데이터셋으로, 수백만 건의 언어 주석이 달린 전문가 궤적을 포함한다. 기존 대형 VLA 모델들은 이 데이터에 의존해 확장된 일반화 성능을 달성했으나 수집 비용이 매우 높다. 논문에서는 OXE를 비교 기준으로 삼아 TAP가 적은 라벨로 동등하거나 우수한 성능을 내는지를 검증했다.
델타 포즈 행동 표현(Delta-Pose Action): — 엔드이펙터의 상대적 위치 변화(Δx,Δy,Δz), 방향 변화(3차원 axis-angle), 그리고 그리퍼 명령을 포함하는 7차원 행동 표현 방식이다. 상대 변화를 예측하면 전역 좌표계에 무관한 지역적 상호작용 역학을 학습할 수 있어 다른 로봇/워크스페이스로의 전이가 용이해진다. 본 논문에서는 이 표현을 액션 공간으로 채택해 ID 및 BC 학습에 사용했다.

코드 예제

text

Algorithm 1 Constrained Procedural Trajectory Generation
0: Raw teleoperation poses P_raw, safety bounds B, voxel size v_size, min distance d_min, elevation threshold z_thresh, max high-elevation steps c_max, noise scale σ.
0: Procedural trajectory dataset D_play
1: Phase 1: Safe Pose Library Initialization
2: P_valid ← { p ∈ P_raw ∣ p ∈ B }
3: P_safe ← VoxelGridDownsample(P_valid, v_size)
4: Phase 2: Autonomous Data Collection
5: D_play ← ∅
6: while True do
7: W ← SampleWaypoints(P_safe, d_min)
8: W_contact ← ContactHeuristic(W, z_thresh, c_max)
9: τ ← CosineInterpolate(W_contact)
10: τ ← Clip(τ + N(0, σ), B)
11: Execute τ and append recorded transitions to D_play
12: if human intervention triggered (e.g., Δt ≥ 30 mins) then
13: Shuffle or swap objects in the workspace
14: end if
15: end while
16: return D_play

이 유사 코드 블록은 자율 무라벨 탐사 데이터를 안전하게 수집하기 위한 절차적 궤적 생성 파이프라인을 나타낸다. 원시 원격조종 포즈에서 안전 영역을 필터링하고 Voxel Grid로 다운샘플링한 뒤 확률적 웨이포인트 샘플링, 접촉 휴리스틱, 코사인 보간, 경계 인지 노이즈 주입을 거쳐 실행 가능한 연속 궤적을 생성한다. 이 파이프라인은 Stage 1 자기지도 Inverse Dynamics 학습에 필요한 접촉이 풍부한 데이터 다양성을 확보하는 데 사용됐다.

할 일을 배우기 전에 움직임을 학습하기: Vision-Language-Action을 위한 Task-Agnostic Pretraining

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 기사

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model