VLA는 기본을 알고 있는가? Vision–Language–Action 모델의 상식 및 세계지식 보존 측정

로봇형 에이전트는 단순한 모터 제어를 넘어 상황에 맞는 상식과 세계 지식을 행동으로 옮길 수 있어야 실제 환경에서 유용하다. 이 논문은 VLM을 VLA로 전환할 때 그런 지식이 유지되는지 행동 기반으로 직접 측정하여 제어 실패와 지식 상실을 구분하는 방법을 제공한다. 연구 결과는 단순 지각 능력은 대체로 보존되지만 심화된 의미적 지식은 손실되기 쉬워 향후 학습 목표와 아키텍처 재설계의 필요성을 실증적으로 뒷받침한다.

기존 VLA 평가는 주로 조작 성공률에 초점을 두어 지식 보존 여부와 제어 성능을 구별하기 어렵게 만든다. 이 연구는 질문에 대한 정답을 텍스트로 출력하는 대신 단일 선택 동작으로 답을 표현하게 하여 지식 기반 선택과 모터 제어 오류를 분리하여 관찰 가능한 신호로 바꿨다. 이렇게 하면 낮은 수준의 제어 난이도로 인해 지식성 실패가 가려지는 문제를 줄이고, 지식의 존재와 그 활용 능력 사이의 병목을 직접 측정할 수 있다.

데이터 구성은 기존 VLM 벤치마크에서 범주별로 문항을 선별하고 시각적 판독 가능성 및 지시문 길이 기준으로 필터링한 뒤, 각 항목을 이진 선택 에피소드로 재구성하는 절차로 이루어졌다. 에피소드당 후보 이미지들은 장면 내에 고정된 위치에 배치되며 에이전트는 엔드이펙터로 큐브를 옮겨 정답 옵션 위에 놓는 단일 동작만 수행하도록 제한하여 제어 복잡도를 낮췄다. 평가 지표로는 목표 중심 반경 ε 내에 최종 위치가 도달하면 성공으로 세는 Soft Success Rate를 사용하며 좌우 스왑 평가를 평균 내어 위치 편향을 제거한다.

기본 지각 범주(Color, Shape, Symmetry의 일부 기본형)는 대부분의 VLA에서 높은 성공률을 보였으나 심층 의미 범주(Emotion, Counting, Public Info, Celebrity, Living World 등)에서는 대부분 모델이 무작위 수준에 근접했다. 원문 VLM과의 비교에서 VLA는 대다수 범주에서 약 20–40포인트 낮은 성능을 보였으며 이는 VLM에서부터 VLA로의 적응 과정에서 의미적 정보의 이용 가능성이 약화되었음을 시사한다. 레이어별 프로빙 결과는 백본의 중간층에서 정답 관련 신호가 존재하지만 액션 예측 쪽 층으로 갈수록 그 신호가 약화되어 행동으로 연결되는 경로에서 정보 손실이 발생했음을 보여주었다.

전체 시스템은 사전학습된 VLM 백본과 이를 액션으로 변환하는 Action Expert 파트로 구성된 VLA 구조를 전제로 한다. 각 에피소드에 대해 백본의 모든 층과 Action Expert의 반복 단계에서 활성화를 추출하고, 각 층별 활성화에 독립적인 선형 분류기를 학습하여 정답 라벨 y∈{0,1}을 예측하도록 하였다. 선형 프로빙에서 얻은 층별 정확도 s_n^{bb}, s_n^{exp}를 사용해 Chance-Normalized Retention 지표를 정의함으로써 액션 파트에서 회복 가능한 신호의 최대치와 백본의 최대치 비율을 수치화했다.

Act2Answer는 제어 난이도를 의도적으로 낮춰 지식 기반 선택을 더 직접적으로 측정하지만 완전한 지식-제어 분리를 보장하지는 않는다. 데이터 선별 과정에서 항목 길이와 시각적 가독성 기준을 적용했기 때문에 실제 환경에서의 복잡한 지시문이나 작은 객체를 포함한 사례가 제외되어 있다. 실험은 공개 체크포인트에 기반해 수행되어 특정 파이프라인이나 추가 미세조정의 영향을 포괄적으로 다루지는 못한다.