VLA는 기본을 알고 있는가? Vision–Language–Action 모델의 상식 및 세계지식 보존 측정

로봇형 에이전트는 단순한 모터 제어를 넘어 상황에 맞는 상식과 세계 지식을 행동으로 옮길 수 있어야 실제 환경에서 유용하다. 이 논문은 VLM을 VLA로 전환할 때 그런 지식이 유지되는지 행동 기반으로 직접 측정하여 제어 실패와 지식 상실을 구분하는 방법을 제공한다. 연구 결과는 단순 지각 능력은 대체로 보존되지만 심화된 의미적 지식은 손실되기 쉬워 향후 학습 목표와 아키텍처 재설계의 필요성을 실증적으로 뒷받침한다.

왜 중요한가

핵심 기여

Act2Answer 행동 기반 평가 프로토콜 설계

각 VLM 질의를 짧은 테이블탑 에피소드로 변형하여 에이전트가 정답 옵션 위에 큐브를 놓는 단일 동작으로 답을 선택하게 하는 프로토콜을 제안한다. 이 프로토콜은 복잡한 장기 계획과 정교한 조작 부담을 줄여 지식 기반 선택 여부를 더 직접적으로 측정하도록 설계되었다. 프로토콜은 위치 스와핑과 허용 반경 ε를 도입해 위치 편향을 완화하고 통계적으로 우연 수준과 구별될 때만 유의미한 신호로 해석하도록 규정한다.

1,720개 이진 문항으로 구성된 지식성 에피소드 모음 구축

기존 VLM 벤치마크의 항목들을 선별하고 길이·시각적 가독성 기준으로 필터링한 뒤 이진 선택 에피소드로 표준화하여 총 12개 범주, 1,720개의 고유 문항을 수집했다. 각 문항은 좌우 스왑을 포함해 실행 가능하며 다양한 상식과 세계 지식 영역을 포괄하도록 구성되었다. 데이터 파이프라인은 LLM을 이용한 질문 재서술과 Simpler 환경에서의 에피소드 래핑으로 이루어졌다.

대규모 실험을 통한 VLA와 VLM 간 성능 격차 분석

7개 VLA 시스템과 9개 VLM 베이스라인을 비교하여 범주별 성능을 체계적으로 평가하였다. 결과는 색상·형상 같은 기본 지각 범주에서는 VLA가 강하지만 감정·대칭성·계수 같은 심층 의미 범주에서는 VLM 대비 평균 20–40포인트의 격차가 존재함을 보여준다. 또한 VQA 동시학습이 유지된 모델들이 지식성 과제에서 상대적으로 우수한 경향을 보였다.

레이어별 프로빙을 통한 내부 표현의 보존 위치 규명

모델의 각 층 활성화에서 선형 분류기를 학습해 정답 관련 신호가 어디에 보존되는지 층별로 측정하는 Layerwise Intent Probing을 도입했다. 중간 백본층에서 위력도(above-chance) 신호가 종종 관찰되지만 액션 예측 최종층에서는 그 신호가 약화되는 경향이 발견되었다. 이 결과는 정보가 완전히 소멸하지 않고 내부에 남아있을 수 있으나 행동 생성 경로에서 소실되거나 이용 불가 상태가 된다는 점을 시사한다.

핵심 아이디어 이해하기

기존 VLA 평가는 주로 조작 성공률에 초점을 두어 지식 보존 여부와 제어 성능을 구별하기 어렵게 만든다. 이 연구는 질문에 대한 정답을 텍스트로 출력하는 대신 단일 선택 동작으로 답을 표현하게 하여 지식 기반 선택과 모터 제어 오류를 분리하여 관찰 가능한 신호로 바꿨다. 이렇게 하면 낮은 수준의 제어 난이도로 인해 지식성 실패가 가려지는 문제를 줄이고, 지식의 존재와 그 활용 능력 사이의 병목을 직접 측정할 수 있다.

방법론

데이터 구성은 기존 VLM 벤치마크에서 범주별로 문항을 선별하고 시각적 판독 가능성 및 지시문 길이 기준으로 필터링한 뒤, 각 항목을 이진 선택 에피소드로 재구성하는 절차로 이루어졌다. 에피소드당 후보 이미지들은 장면 내에 고정된 위치에 배치되며 에이전트는 엔드이펙터로 큐브를 옮겨 정답 옵션 위에 놓는 단일 동작만 수행하도록 제한하여 제어 복잡도를 낮췄다. 평가 지표로는 목표 중심 반경 ε 내에 최종 위치가 도달하면 성공으로 세는 Soft Success Rate를 사용하며 좌우 스왑 평가를 평균 내어 위치 편향을 제거한다.

주요 결과

기본 지각 범주(Color, Shape, Symmetry의 일부 기본형)는 대부분의 VLA에서 높은 성공률을 보였으나 심층 의미 범주(Emotion, Counting, Public Info, Celebrity, Living World 등)에서는 대부분 모델이 무작위 수준에 근접했다. 원문 VLM과의 비교에서 VLA는 대다수 범주에서 약 20–40포인트 낮은 성능을 보였으며 이는 VLM에서부터 VLA로의 적응 과정에서 의미적 정보의 이용 가능성이 약화되었음을 시사한다. 레이어별 프로빙 결과는 백본의 중간층에서 정답 관련 신호가 존재하지만 액션 예측 쪽 층으로 갈수록 그 신호가 약화되어 행동으로 연결되는 경로에서 정보 손실이 발생했음을 보여주었다.

기술 상세

전체 시스템은 사전학습된 VLM 백본과 이를 액션으로 변환하는 Action Expert 파트로 구성된 VLA 구조를 전제로 한다. 각 에피소드에 대해 백본의 모든 층과 Action Expert의 반복 단계에서 활성화를 추출하고, 각 층별 활성화에 독립적인 선형 분류기를 학습하여 정답 라벨 y∈{0,1}을 예측하도록 하였다. 선형 프로빙에서 얻은 층별 정확도 s_n^{bb}, s_n^{exp}를 사용해 Chance-Normalized Retention 지표를 정의함으로써 액션 파트에서 회복 가능한 신호의 최대치와 백본의 최대치 비율을 수치화했다.

한계점

Act2Answer는 제어 난이도를 의도적으로 낮춰 지식 기반 선택을 더 직접적으로 측정하지만 완전한 지식-제어 분리를 보장하지는 않는다. 데이터 선별 과정에서 항목 길이와 시각적 가독성 기준을 적용했기 때문에 실제 환경에서의 복잡한 지시문이나 작은 객체를 포함한 사례가 제외되어 있다. 실험은 공개 체크포인트에 기반해 수행되어 특정 파이프라인이나 추가 미세조정의 영향을 포괄적으로 다루지는 못한다.

실무 활용

Act2Answer 프로토콜은 실제 로봇 정책을 지식성 과제 관점에서 검증할 수 있는 표준화된 방법을 제공한다. 이 프로토콜은 제어 난이도를 낮춰 지식 보존 여부를 더 직접적으로 측정하므로 로봇 학습 파이프라인에서 의미적 정보 유지 여부를 진단하는 데 유용하다. 공개된 코드와 데이터는 연구 및 개발 환경에서 재현 실험과 추가 분석을 가능하게 한다.

로봇 정책을 배포 전 상식성·안전성 관점에서 검증하여 실제 환경에서의 부적절한 행동 위험을 식별하는 용도
VLM을 VLA로 적응시키는 과정에서 발생하는 지식 손실을 정량화해 보존을 목표로 한 학습 목표 설계에 활용하는 용도
레이어별 프로빙을 통해 어느 층에서 정보가 소실되는지 규명하고 백본-액션 인터페이스 재설계를 안내하는 용도

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision–Language–Action (VLA)(비전-언어-액션 모델)Act2Answer(행동 기반 지식 평가)Layerwise Intent Probing(레이어별 의도 프로빙)Soft Success Rate(소프트 성공률)VLM(Visual–Language Model)(Vision–Language Model)

용어 해설

레이어별 의도 프로빙(Layerwise Intent Probing): — 모델의 각 층에서 선형 분류기를 학습하여 특정 질문의 정답 정보를 얼마나 회복 가능한지 측정하는 기법으로, 입력에서 내부 활성화까지 어떤 층에 답변 관련 신호가 보존되는지를 정량화하기 위해 사용된다.
소프트 성공률(Soft Success Rate): — 행동 기반 선택 시험에서 목표 타일 중심으로 반경 ε 이내에 물체가 놓이면 성공으로 간주하여 계산하는 확률적 성능 지표로서, 모터 제어 실패와 의미적 선택을 분리하여 지식 기반 행동 성공을 해석하는 데 사용된다.
Vision–Language–Action 모델(Vision–Language–Action (VLA)): — 이미지와 자연어를 입력으로 받아 행동(예: 로봇의 단일 동작)을 출력하도록 미세조정된 멀티모달 정책 계열을 가리키며, 시각적 이해와 언어 추론을 모터 제어로 연결하는 파이프라인 특성이 핵심이다.
Vision–Language Model(Vision–Language Model (VLM)): — 이미지와 텍스트를 함께 입력으로 처리하도록 사전학습된 멀티모달 모델로서, VLA의 백본으로 사용되어 시맨틱한 시각-언어 표현을 제공하고 행동 결정에 필요한 지식을 포함할 수 있다.

VLA는 기본을 알고 있는가? Vision–Language–Action 모델의 상식 및 세계지식 보존 측정

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드