표상 앵커링과 언어-행동 정렬을 통한 일반화 가능한 VLA 파인튜닝

왜 중요한가

사전학습된 비전-언어 모델을 로봇 행동 정책으로 미세조정할 때 행동 손실만 최적화하면 시각·언어 표상이 파괴되어 관찰 기반 일반화가 실패한다는 문제가 존재했다. 이 논문은 추가 데이터나 구조 변경 없이 표상 보존(층별 증류)과 언어-행동 공동 감독(동작을 방향 단어로 변환)을 도입해 표상 보존과 행동 학습을 동시에 달성할 방법을 제시했다. 그 결과 실제 xArm7과 여러 시뮬레이션 벤치마크에서 OOD 조건과 장기 롤아웃에서 성공률이 크게 개선되어 실무적 의미가 확인되었다.

핵심 기여

Vision-Language Anchoring으로 층별 표상 보존

훈련 중 동결된(고정된) 동일 VLM을 교사로 두고 모든 디코더 레이어의 비전·텍스트 위치 히든스테이트를 평균 제곱오차로 증류함으로써 파인튜닝 중 백본 표상이 붕괴되는 것을 억제했다. 이 방식은 추가 데이터나 구조 변경 없이 기존 사전학습된 표현을 유지하면서 downstream 행동 학습과 병행되도록 설계되었다. 결과적으로 GQA 정확도와 OOD 일반화에서 표상 보존의 직접적 이익이 관찰되었다.

Language-Action Alignment로 언어와 행동을 동일 관찰에서 정렬

연속 동작 목표를 평균화·필터링·축 기반 이산화 과정을 통해 여섯 방향 라벨(up/down/left/right/forward/backward)로 자동 변환한 뒤 동일한 시점의 프리액션 히든스테이트에 대해 언어 헤드를 통해 교차엔트로피로 감독했다. 이렇게 하면 언어 출력과 행동 출력이 동일한 관찰을 기반으로 일치하도록 강제되어, 코트레이닝에서 흔히 발생하는 언어-행동 불일치를 해소했다. 통제 실험에서 라벨을 섞거나 의미 없는 단어로 대체하면 성능이 하락해 정렬의 중요성이 확인되었다.

간단한 합성 손실로 행동 성능과 표상 보존을 동시 달성

표준 BC 손실에 앵커링 손실과 정렬 손실을 가중합한 단일 목적함수로 학습을 진행하여 세 손실을 공동 최적화했다(ℒtotal = ℒaction + λanchorℒanchor + λalignℒalign). 이 통합 레시피는 추가 라벨링이나 외부 비전-언어 데이터 없이 작동하며, 다양한 백본과 행동 헤드(regression, flow-matching)에 걸쳐 일관된 개선을 보였다. 설계상 기존 VLA 아키텍처에 최소한의 변경만으로 적용 가능하다.

시뮬레이션 및 실제 로봇에서 검증된 일반화 향상

LIBERO-PRO, LIBERO-Plus, CALVIN 같은 OOD 및 장기 제어 벤치에서 Anchor-Align는 일관된 성공률 향상을 보였으며, 특히 위치 교체(position-swap)에서 기존 방법들이 0%~2.3%를 보일 때 22.6%를 달성했다. 실제 xArm7 실험에서는 VLA-Adapter 기반에서 평균 성공률이 28.3%에서 54.2%로 개선되었고 StarVLA 설정에서도 평균 36.7%에서 60.0%로 증가했다. 이 결과는 표상 보존과 정렬이 실무적 제약 하에서도 효과적임을 입증한다.

핵심 아이디어 이해하기

문제의 출발점은 사전학습된 VLM의 풍부한 시각·언어 표상을 행동 학습 과정에서 유지하지 못한다는 점이다. 행동 복제(Behavior Cloning)는 주로 행동 예측 오차만을 최소화하므로 백본 가중치가 행동 데이터에 맞춰 급격히 변하고, 그 결과 색상·공간·속성 같은 사전학습 지식이 손실되어 관찰 기반 일반화가 무너졌다. 이 현상은 동일한 장면에서 다른 지시가 들어올 때 기억된 트레이닝 궤적을 반복하는 형태로 관찰된다.

방법론

전체 접근은 세 손실 항을 공동 최적화하는 단순한 훈련 레시피다. 우선 표준 행동 복제 손실 ℒaction은 연속 동작 청크에 대해 L1(regression) 혹은 L2(흐름-매칭 설정에서 속도 예측) 형태로 계산되어 행동 정확도를 직접 최적화한다. 여기에 층별 표상 차이를 제어하는 앵커링 손실 ℒanchor를 추가하는데, 각 디코더 레이어 u에 대해 학습 가능한 백본의 히든스테이트 HS_u[m]와 동결된 앵커 VLM의 HA_u[m] 간의 제곱 Frobenius 노름을 계산하여 평균화한다(ℒanchor = (1/|D|) sum_u ||HS_u[m] - HA_u[m]||_F^2). 이 항은 N×d 크기의 히든 행렬 차이를 줄여 층별로 표상이 원래 사전학습 상태에 가깝게 유지되도록 만든다.

주요 결과

메인 벤치마크에서 Anchor-Align는 일관된 성능 향상을 보였다. LIBERO-PRO와 LIBERO-Plus에서는 VLA-Adapter 대비 평균이 각각 71.9%와 90.3%를 달성했고 특히 position-swap에서 기존 방법들이 0~2.3%를 기록할 때 Anchor-Align는 22.6%를 보였다. 장기 제어 CALVIN ABC→D 평가에서는 다섯 개 지시를 모두 성공할 비율이 OpenVLA-OFT의 66.5%에서 77.9%로 증가했고 평균 롤아웃 길이는 4.3에서 4.5로 늘어났다.

기술 상세

아키텍처는 사전학습 VLM을 백본으로 사용하고 학습 가능한 액션 헤드가 별도로 존재하는 일반적 VLA 구성이다. 입력 시퀀스는 비전 패치와 텍스트 토큰, 로봇 상태를 포함하며 고정된 액션 쿼리가 VLM 표현에서 작업 관련 정보를 추출한다. 본문에서는 Prismatic-Qwen2.5-0.5B 백본에 LoRA(r=64)를 적용한 설정을 기본으로 삼았고 추가적으로 StarVLA 설정(대안 백본 Qwen2.5-VL + GR00T FM-DiT flow-matching 액션 헤드)에서도 실험을 수행해 일반성을 확인했다.

한계점

저자들은 실패 모드를 정량적으로 분류하고 일부 한계를 명시했다. 실세계 롤아웃에서 Anchor-Align는 의미적 오류와 잘못된 대상 접근을 크게 감소시켰으나 그리퍼 하강 실패나 그립 후 조기 방출 같은 물리적 그립 관련 실패는 여전히 발생해 완전한 성공을 보장하지 않는다. 또한 앵커링과 정렬은 표상 보존과 행동 정합성에는 유효하지만 하드웨어 특성이나 그립 기하학 문제가 해결되지는 않아 추가 로우레벨 제어 개선이 필요하다.

실무 활용

프로젝트는 공개된 코드 저장소를 통해 재현 가능하며, 기존 VLA 아키텍처에 최소한의 변경으로 적용할 수 있어 현업 환경에서 사전학습 VLM을 로봇 제어에 안전하게 전이하는 데 실용성이 있다. 별도 외부 데이터나 수작업 라벨링 없이 시연에서 얻은 정보만으로 표상 보존과 언어-행동 정렬을 달성하도록 설계되었다.

사전학습된 비전-언어 백본을 보유한 산업용 로봇에 기존 행동 복제 파이프라인을 보완해 OOD 상황에서의 물체 선택 정확도를 높이기 위한 파인튜닝 방법으로 적용할 수 있다.
시뮬레이션에서 학습한 범용 정책을 실제 로봇으로 이식할 때 표상 드리프트를 억제해 시뮬레이션-실세계 갭을 줄이는 도구로 활용할 수 있다.
대규모 멀티태스크 VLA 개발에서 개별 태스크별 표상 손실을 모니터링하고 교정하는 진단 및 정규화 용도로 사용하여 전체 시스템의 안정성을 높일 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision-Language-Action (VLA)(비전-언어-액션 모델)Behavior Cloning (BC)(행동 복제)Catastrophic Forgetting(치명적 망각)Anchoring(표상 앵커링)Language-Action Alignment(언어-행동 정렬)Flow-Matching(흐름 매칭)

용어 해설

비전-언어 모델(Vision-Language Model (VLM)): — 이미지와 텍스트를 결합해 멀티모달 표현을 학습한 대형 사전학습 모델로서 본문에서는 VLA의 백본으로 쓰여 시각적 속성(색상, 위치, 형태)과 언어적 개념을 동시에 제공하는 표상 소스로 기능한다.
행동 복제(Behavior Cloning (BC)): — 전문가 시연에서 관찰한 상태-동작 쌍을 지도학습으로 그대로 모방하도록 정책을 학습하는 방법으로 본문에서는 VLM을 제어 정책으로 미세조정할 때 사용되며, 표상 소실 문제의 원인으로 지목된다.
치명적 망각(Catastrophic Forgetting): — 사전학습된 표현이 파인튜닝 과정에서 빠르게 망가져 원래 갖고 있던 시각·언어 지식이 손실되는 현상으로서, VLA가 새로운 행동 데이터에 맞춰지면서 색상·공간 개념을 잃는 원인으로 작동한다.
비전-언어 앵커링(Vision-Language Anchoring): — 파인튜닝 중에 학습 가능한 백본과 동일한 입력을 처리하는 고정된(동결된) VLM을 교사로 두고 각 디코더 레이어의 히든스테이트를 평균 제곱오차로 맞추는 층별 증류 방식으로, 표상 드리프트를 억제해 OOD 일반화를 유지한다.
언어-행동 정렬(Language-Action Alignment): — 연속 동작 목표를 방향 단어(예: left, forward 등)로 자동 변환하여 동일한 관찰에서 언어 헤드와 행동 헤드를 공동 감독하는 손실을 적용함으로써 언어 예측과 행동 예측이 일관되게 되도록 만드는 기법이다.

표상 앵커링과 언어-행동 정렬을 통한 일반화 가능한 VLA 파인튜닝

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

GigaBrain-0.7의 3체계 로봇 지능 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

GigaBrain-0.7의 3체계 로봇 지능 확장