LIBERO-Para: VLA 모델의 언어적 재표현 강건성 진단을 위한 벤치마크 및 지표

최신 로봇 AI 모델들이 학습 시 보지 못한 유사한 명령어를 받았을 때 성능이 급격히 저하되는 '언어적 취약성'을 정밀하게 진단합니다. 단순한 성공률 측정을 넘어 로봇이 왜 실패하는지, 어떤 단어 변화에 민감한지를 분석할 수 있는 새로운 도구와 지표를 제공하여 더 똑똑한 로봇 개발의 토대를 마련합니다.

로봇 AI인 VLA 모델은 이미지와 텍스트를 입력받아 로봇 팔의 움직임을 결정한다. 기존 모델들은 특정 환경에서 수집된 소수의 데이터로 파인튜닝되는 과정에서 '가스레인지를 켜라'와 같은 특정 문구에 과적합되는 경향이 있다. 이는 모델이 언어의 실제 의미(Embedding)를 이해하기보다 텍스트의 표면적인 형태를 정답 동작과 단순 매칭하는 방식으로 학습되기 때문이다.

이 논문은 이러한 한계를 극복하기 위해 지시문을 '동작(Action)'과 '대상(Object)'이라는 두 가지 축으로 분해한다. 예를 들어 '가스레인지를 켜라'를 '조리 기구를 작동시켜라'로 바꿨을 때, 모델이 여전히 가스레인지를 찾아내는지 확인한다. 이는 딥러닝의 핵심인 의미론적 접지(Semantic Grounding)가 단어의 미세한 변화(Lexical Shift)에도 유지되는지를 검증하는 과정이다.

결과적으로 모델이 단순히 훈련 데이터의 문구를 암기한 것인지, 아니면 언어와 물리적 세계의 관계를 진정으로 이해한 것인지를 구분해낸다. 분석 결과 현재의 모델들은 문장 구조의 변화보다 단어 하나가 바뀌는 어휘적 변화에 훨씬 더 취약하며, 이로 인해 작업 자체를 오해하여 엉뚱한 방향으로 움직이기 시작한다는 점을 수치로 증명했다.

LIBERO-Para는 LIBERO-Goal 데이터셋을 기반으로 구축되었으며, 지시문을 동작 축(Action axis)과 객체 축(Object axis)으로 나누어 변형한다. 동작 축은 어휘적(동의어), 구조적(문장 구성), 화용적(간접 표현) 변형을 포함하며, 객체 축은 어휘적 변형(동의어 및 수식어 추가)을 다룬다. 총 43가지의 세분화된 변형 유형을 정의하여 모델의 취약 지점을 정밀 타격한다.

PRIDE(Paraphrase Robustness Index in Robotic Instructional DEviation) 지표는 두 가지 유사도를 결합한다. 첫째, 키워드 유사도(SK)는 Sentence-BERT 임베딩을 사용하여 원문과 변형문의 핵심 단어 간 코사인 유사도를 계산한다. [두 문장의 단어 집합 입력 → 코사인 유사도 최대값 매칭 → 평균 산출 → 핵심 의미 보존 정도 측정]. 둘째, 구조적 유사도(ST)는 의존성 트리 편집 거리(Tree Edit Distance)를 활용한다. [문장 구조 트리 입력 → 노드 삽입/삭제/치환 연산 횟수 계산 → 트리 크기로 정규화 → 문법적 구조 변화량 측정].

실험은 OpenVLA, π0.5, X-VLA 등 0.6B에서 7.5B 규모의 다양한 아키텍처를 대상으로 수행되었다. 모든 모델은 동일한 환경에서 파인튜닝된 후, 훈련 시 보지 못한 재표현 지시문으로 평가받는다. 실패 원인 분석을 위해 Dynamic Time Warping(DTW)을 사용하여 실제 로봇의 궤적이 정답 궤적과 얼마나 일치하는지를 기준으로 실행 오류와 계획 오류를 구분한다.

모든 테스트 모델에서 재표현 지시문 적용 시 성능이 급격히 하락했다. LIBERO-Goal에서 90% 이상의 성공률을 보이던 모델들이 LIBERO-Para에서는 평균 22.8~51.9pp의 성능 하락을 기록했다. 특히 VLA-Adapter 모델은 성능의 절반 가까이를 잃으며 가장 큰 취약성을 보였다.

실패의 주요 원인은 객체 참조의 변화였다. 'stove'를 'range'나 'hob'으로 바꾸는 단순한 동의어 교체만으로도 성능이 19.8~51.0pp 하락했다. 반면 문장 구조를 복잡하게 만드는 동작 축의 변형은 상대적으로 영향이 적었다. 이는 현재의 VLA 모델들이 언어의 구조적 이해보다 특정 명사 키워드에 의존하여 작업을 식별하고 있음을 시사한다.

실패 사례의 80~96%는 계획 단계의 오류(Far-GT)로 분류되었다. 로봇이 동작을 수행하다가 실수하는 것이 아니라, 지시문을 듣는 순간부터 엉뚱한 물체로 향하거나 잘못된 궤적을 생성한다는 것이다. 이는 재표현된 지시문이 모델의 작업 식별(Task Identification) 프로세스를 근본적으로 방해하고 있음을 보여준다.

본 연구는 VLA 모델의 강건성이 아키텍처의 크기나 종류에 관계없이 공통적으로 취약하다는 점을 발견했다. 7.5B 규모의 대형 모델인 OpenVLA조차 0.9B 규모의 X-VLA와 유사한 수준의 성능 하락을 보였다. 이는 단순히 파라미터 수를 늘리는 것만으로는 언어적 일반화 문제를 해결할 수 없음을 의미한다.

학습 전략 측면에서 VLM 백본을 고정(Frozen)하고 액션 헤드만 학습시키는 방식은 언어 이해력은 유지할 수 있으나 로봇 동작 수행 능력이 현저히 떨어졌다. 반면 전체 모델을 공동 파인튜닝(Joint Fine-tuning)하면 동작 성능은 올라가지만, 사전 학습된 언어 지식이 훼손되어 재표현에 더 취약해지는 '강건성-성능 트레이드오프' 현상이 관찰되었다.

PRIDE 지표의 가중치 α를 조절하는 실험을 통해, 모델별로 키워드 보존에 민감한지 혹은 문장 구조 변화에 민감한지를 정량적으로 파악할 수 있다. 예를 들어 X-VLA는 다른 모델에 비해 키워드 변화에 상대적으로 더 강건한 특성을 보였다. 이러한 분석은 특정 도메인에 최적화된 로봇 모델을 선택할 때 중요한 기술적 근거를 제공한다.

본 연구는 시뮬레이션 환경(LIBERO)에서만 평가되었으므로 실제 물리적 로봇 플랫폼에서의 검증이 추가로 필요하다. 또한 지시문의 변형을 한 번에 한 가지 축으로만 제한하여 분석했기 때문에, 실제 대화에서 발생할 수 있는 복합적인 언어 변형(동의어 교체와 문장 구조 변경이 동시에 일어나는 경우)에 대한 영향은 향후 과제로 남겨두었다.