Vision-Language-Action 안전성: 위협, 과제, 평가 및 메커니즘

시각, 언어, 행동을 통합한 VLA 모델이 로봇 공학의 주류가 됨에 따라 텍스트 기반 AI와는 차원이 다른 물리적 안전 위협이 발생하고 있다. 이 논문은 VLA 시스템의 고유한 취약점을 체계적으로 분류하고 차세대 로봇 시스템이 갖춰야 할 안전 설계 가이드라인을 제시한다.

기존의 LLM 안전성이 유해한 텍스트 출력을 막는 것에 집중했다면, VLA 모델은 출력이 곧 물리적 행동으로 이어지므로 '물리적 비가역성'이라는 독특한 한계를 가진다. Transformer 기반의 VLA 모델은 시각적 특징과 언어 명령을 하나의 임베딩 공간에서 융합하는데, 공격자는 이 융합 과정의 틈새를 노려 시각적 노이즈만으로 로봇이 위험한 행동을 하도록 유도할 수 있다.

논문은 이러한 한계를 해결하기 위해 안전을 단순한 필터링이 아닌 '학습 단계의 정렬'과 '추론 단계의 실시간 감시'가 결합된 다층적 방어 체계로 접근해야 함을 보여준다. 특히 행동 토큰 생성 시 언어적 거절과 물리적 실행 사이의 확률적 불일치(Output-Action Mismatch)를 해결하는 것이 핵심이다.

결과적으로 VLA 안전성은 단순한 정확도 향상을 넘어, 모델이 자신의 한계를 인지하는 Uncertainty Calibration과 물리적 충돌을 즉각 차단하는 제어 계층의 통합을 통해 완성된다는 점을 강조한다.

VLA 모델의 안전성을 분석하기 위해 학습 시점(Training-time)과 추론 시점(Inference-time)으로 구분된 계층적 접근 방식을 채택했다. 학습 단계에서는 데이터 포이즈닝을 통한 백도어 주입 메커니즘을 분석하고, 이에 대응하는 Pedagogical Alignment 및 Constrained Safety Optimization 기법을 검토했다.

추론 단계의 방어를 위해 제안된 이중 루프 아키텍처는 제어 주기에 따라 역할을 분담한다. [VLA 모델의 원시 행동 출력을 입력으로] → [Control Barrier Functions(CBF)를 통한 기하학적 최적화 연산을 수행해] → [안전 범위 내로 투영된 수정된 행동 값을 얻고] → [실시간 충돌 방지를 보장하는 Fast Reflexes 메커니즘]을 설명한다.

동시에 의미론적 감시를 위해 [로봇의 실행 로그와 환경 상태를 입력으로] → [VLM 기반의 고수준 추론 및 논리 검증을 수행해] → [재계획 또는 정지 신호를 출력하고] → [복잡한 안전 수칙 준수를 보장하는 Slow Reasoning 메커니즘]을 통합적으로 구성했다.

VLA-Risk, VLATest 등 최신 벤치마크 분석 결과, 현재의 SOTA VLA 모델들도 구조화된 공격 하에서 성능이 급격히 저하됨이 확인됐다. 특히 VLATest 실험에서 7개의 대표 모델은 난이도가 높은 조작 작업에서 0.5%~12.4% 수준의 매우 낮은 성공률을 기록하며 환경 변화에 대한 취약성을 드러냈다.

RoboPAIR 프레임워크를 통한 제일브레이크 공격 실험에서는 NVIDIA Dolphins(자율주행 LLM) 등 다양한 설정에서 100%의 공격 성공률을 달성하여, 기존 언어 모델의 방어 기제가 로봇 제어 환경에서는 쉽게 무력화될 수 있음을 입증했다. 또한 SafeAgentBench 실험 결과, 가장 안전 지향적인 에이전트조차 명시적인 위험 명령에 대해 10%의 거부율만을 기록하여 안전 인식 능력이 현저히 부족함이 나타났다.

VLA 아키텍처는 크게 Visual Encoder, Language Backbone, Action Decoder의 세 가지 구성 요소로 나뉘며, 각 요소는 고유한 공격 표면을 형성한다. 특히 Action Decoder에서 사용되는 Action Chunking 기법은 추론 빈도를 줄여 효율성을 높이지만, 시각적 피드백이 없는 'Blind Spot'을 만들어 공격자가 정교한 드리프트를 주입할 수 있는 취약점이 된다.

수학적으로는 안전 정렬을 Constrained Markov Decision Process(CMDP)로 정의한다. [기존의 보상 함수 rt에 안전 비용 함수 ct를 추가하여] → [라그랑주 승수법 등을 이용한 제약 조건 최적화를 수행해] → [안전 예산 dj를 준수하는 정책 파라미터 θ를 도출하고] → [성능과 안전의 Pareto Frontier 상에서 최적의 운영 지점을 찾는 방식]을 논의한다.

또한 불확실성 보정(Uncertainty Calibration)을 위해 Expected Calibration Error(ECE)를 활용한다. [모델의 예측 신뢰도와 실제 정확도 사이의 차이를 계산하여] → [신뢰도가 낮은 상황을 감지하고] → [고위험 상황에서 안전 모드로 전환하거나 인간의 개입을 요청하는] 자가 인식 시스템의 필요성을 기술적 근거와 함께 제시한다.

현재의 VLA 안전 연구는 대부분 시뮬레이션 환경에 국한되어 있으며, 센서 노이즈나 하드웨어 마모 등 실제 환경의 변수가 포함된 Sim-to-Real 안전 보장 기술은 아직 초기 단계이다. 또한 안전성을 높일수록 로봇이 지나치게 보수적으로 행동하여 작업을 거부하는 'Over-refusal' 현상과 성능 사이의 트레이드오프 해결이 과제로 남아있다.