표상 앵커링과 언어-행동 정렬을 통한 일반화 가능한 VLA 파인튜닝

사전학습된 비전-언어 모델을 로봇 행동 정책으로 미세조정할 때 행동 손실만 최적화하면 시각·언어 표상이 파괴되어 관찰 기반 일반화가 실패한다는 문제가 존재했다. 이 논문은 추가 데이터나 구조 변경 없이 표상 보존(층별 증류)과 언어-행동 공동 감독(동작을 방향 단어로 변환)을 도입해 표상 보존과 행동 학습을 동시에 달성할 방법을 제시했다. 그 결과 실제 xArm7과 여러 시뮬레이션 벤치마크에서 OOD 조건과 장기 롤아웃에서 성공률이 크게 개선되어 실무적 의미가 확인되었다.

문제의 출발점은 사전학습된 VLM의 풍부한 시각·언어 표상을 행동 학습 과정에서 유지하지 못한다는 점이다. 행동 복제(Behavior Cloning)는 주로 행동 예측 오차만을 최소화하므로 백본 가중치가 행동 데이터에 맞춰 급격히 변하고, 그 결과 색상·공간·속성 같은 사전학습 지식이 손실되어 관찰 기반 일반화가 무너졌다. 이 현상은 동일한 장면에서 다른 지시가 들어올 때 기억된 트레이닝 궤적을 반복하는 형태로 관찰된다.

전체 접근은 세 손실 항을 공동 최적화하는 단순한 훈련 레시피다. 우선 표준 행동 복제 손실 ℒaction은 연속 동작 청크에 대해 L1(regression) 혹은 L2(흐름-매칭 설정에서 속도 예측) 형태로 계산되어 행동 정확도를 직접 최적화한다. 여기에 층별 표상 차이를 제어하는 앵커링 손실 ℒanchor를 추가하는데, 각 디코더 레이어 u에 대해 학습 가능한 백본의 히든스테이트 HS_u[m]와 동결된 앵커 VLM의 HA_u[m] 간의 제곱 Frobenius 노름을 계산하여 평균화한다(ℒanchor = (1/|D|) sum_u ||HS_u[m] - HA_u[m]||_F^2). 이 항은 N×d 크기의 히든 행렬 차이를 줄여 층별로 표상이 원래 사전학습 상태에 가깝게 유지되도록 만든다.

메인 벤치마크에서 Anchor-Align는 일관된 성능 향상을 보였다. LIBERO-PRO와 LIBERO-Plus에서는 VLA-Adapter 대비 평균이 각각 71.9%와 90.3%를 달성했고 특히 position-swap에서 기존 방법들이 0~2.3%를 기록할 때 Anchor-Align는 22.6%를 보였다. 장기 제어 CALVIN ABC→D 평가에서는 다섯 개 지시를 모두 성공할 비율이 OpenVLA-OFT의 66.5%에서 77.9%로 증가했고 평균 롤아웃 길이는 4.3에서 4.5로 늘어났다.

아키텍처는 사전학습 VLM을 백본으로 사용하고 학습 가능한 액션 헤드가 별도로 존재하는 일반적 VLA 구성이다. 입력 시퀀스는 비전 패치와 텍스트 토큰, 로봇 상태를 포함하며 고정된 액션 쿼리가 VLM 표현에서 작업 관련 정보를 추출한다. 본문에서는 Prismatic-Qwen2.5-0.5B 백본에 LoRA(r=64)를 적용한 설정을 기본으로 삼았고 추가적으로 StarVLA 설정(대안 백본 Qwen2.5-VL + GR00T FM-DiT flow-matching 액션 헤드)에서도 실험을 수행해 일반성을 확인했다.

저자들은 실패 모드를 정량적으로 분류하고 일부 한계를 명시했다. 실세계 롤아웃에서 Anchor-Align는 의미적 오류와 잘못된 대상 접근을 크게 감소시켰으나 그리퍼 하강 실패나 그립 후 조기 방출 같은 물리적 그립 관련 실패는 여전히 발생해 완전한 성공을 보장하지 않는다. 또한 앵커링과 정렬은 표상 보존과 행동 정합성에는 유효하지만 하드웨어 특성이나 그립 기하학 문제가 해결되지는 않아 추가 로우레벨 제어 개선이 필요하다.