BadWAM: 상상은 유지되지만 실행은 어긋나는 세계-행동 모델의 취약성

세계-행동 모델은 행동 생성과 미래 세계 예측을 결합해 로봇 제어에서 물리적 합리성 점검과 계획 인터페이스 역할을 수행한다. 본 논문은 이 결합이 작은 시각적 교란으로 인해 상상과 행동의 동기화가 깨지며 그 결과 안전 판정이 실패할 수 있음을 실험적으로 입증했다. 이 발견은 미래 예측만으로는 로봇 제어의 안전을 보장하기에 불충분하다는 점을 시사한다.

세계-행동 모델은 현재 관측과 목표를 받아 내부적으로 미래 상태를 상상하고 그 상상을 조건으로 행동을 생성하는 구조를 가진다. 이때 상상과 행동은 동일한 표현을 공유하거나 상상 결과에 조건부로 행동을 생성하도록 학습되어 정렬(alignment)이 기대된다. 그러나 학습상 정렬이 완전 결속적이지 않으므로 두 출력 경로는 서로 다르게 민감해질 수 있다. BadWAM의 핵심 직관은 이 분리 취약성을 표면화하는 것이다. 공격자는 관측에 작은 ℓ∞ 제한 교란을 넣어 행동 생성 경로를 크게 흔들면서 상상 경로의 출력은 비교적 가깝게 유지하도록 최적화할 수 있다. 이를 통해 모델은 그럴듯한 미래를 '상상'하지만 실제 실행은 그 상상을 실현하지 못하는 비동기화된 행동을 내보내게 된다. 공격 목적은 행동 편이 D_act 를 최대화하면서 예측된 미래와의 거리 D_img 를 제약하거나 페널티로 제어하는 것이다. 이 목적은 Lagrangian 완화로 구현되며 λ 가 클수록 상상 보존이 강화되어 은밀성이 높아지는 반면 공격 강도는 약해지는 트레이드오프가 나타난다.

위협 모델은 배포된 WAM의 관측 입력만 수정할 수 있는 공격자로 설정되며 공격자는 각 재계획(replan) 단계에서 블랙박스 쿼리를 통해 모델 출력을 관찰한다. 공격자는 행동만 관찰 가능한 설정과 상상도 관찰 가능한 설정을 모두 고려하며 교란은 ‖δ‖∞ ≤ ε 로 제한된다. 목적 함수는 행동 거리 D_act 를 최대화하거나 행동 거리에서 λ·D_img 를 뺀 값을 최대화하는 형태로 정의된다. 악성 교란 최적화는 제로스 차 표본 기반 방식으로 수행된다. 구체적으로 무작위 방향 u_i 를 표본하고 중앙차분 유사추정기를 통해 목적 함수의 방향 도함수를 근사한 후 학습률 η 로 교란을 갱신하고 ℓ∞ 공집합으로 투영한다. 구현 기본값은 재계획당 8번의 최적화 반복으로, 각 반복은 양방향 평가를 포함하여 재계획당 총 17개의 WAM 포워드 쿼리를 필요로 한다. 평가 프로토콜은 폐쇄 루프 실행을 사용하여 공격의 장기 누적 효과를 측정한다. 성능 지표로는 종합 폐쇄 루프 성공률, 행동 거리 및 채널별 통계, 예측 미래 거리 및 데코이 검출 관련 지표가 포함된다. 또한 방어 실험에서는 Gaussian blur, JPEG-noise ensemble, resize-crop ensemble 같은 비적응적 전처리를 시험하여 실무적 영향과 허위양성률을 관찰했다.

주요 폐쇄 루프 실험에서 BadWAM은 WAM 변종 전반에 걸쳐 유의한 성능 저하를 유도했다. 예컨대 action-only WAM에서는 action-only 공격이 성공률을 96.5%에서 43.1%로 감소시켰고 joint 및 IDM WAM에서도 수십 퍼센트포인트 수준의 하락이 관찰되었다. imagination-preserving 공격은 예측 미래 드리프트를 상대적으로 줄이면서도 실행 실패를 유사한 수준으로 유도했다. 정밀 분석에서 공격은 연속적 행동 채널과 후반 재계획 구간에 주로 영향을 주었고 실패한 에피소드는 성공 에피소드에 비해 누적 행동 편이가 훨씬 컸다. 전이성 실험에서는 소스 모델에서 최적화된 교란이 다른 WAM 변종에서도 유의미한 성공률 저하를 일으켜 관측 공간의 공통 취약 방향이 존재함이 확인되었다. 방어 실험에서는 JPEG-noise ensemble과 Gaussian blur가 비적응적 공격에 대해 일부 회복을 제공했으나 적응형 공격에 대한 완전한 해결책은 아니었다. 민감도 실험에서 교란 크기 ε 는 공격 강도에 가장 큰 영향을 미쳤고 쿼리 예산은 실행 시간 대비 성능 개선을 제공하지만 과도한 예산은 추가적인 폐쇄 루프 실패로 반드시 이어지지 않는 비모노토닉성을 보였다. 이 결과들은 상상 보존 항으로 λ 를 조정하면 은밀성과 파괴성 사이의 실질적 트레이드오프가 존재함을 보여주었다.

전체 아키텍처 관점에서 논문은 세 가지 WAM 변종을 실험했다. action-only WAM은 관측과 목표에서 바로 행동을 예측하는 구조이고 joint WAM은 행동과 미래 비디오를 공동으로 예측하며 IDM WAM은 미래 표현을 먼저 구성한 뒤 행동을 디코딩한다. 이 세 변종은 상상-행동 인터페이스가 어떻게 노출되는지에 따라 공격 실험 조건을 분리하는 역할을 했다. 핵심 수학적 구성은 두 거리 측정 D_act 와 D_img 이다. D_act 는 공격 전후 행동 청크 간의 거리로 정의되어 행동 편이의 크기를 측정하고 D_img 는 디코딩된 프레임 단위 또는 잠재공간 거리의 평균으로 계산되어 예측 미래의 드리프트를 정량화한다. imagination-preserving 목적은 max_{‖δ‖∞≤ε} D_act(a^δ,a) - λ D_img(z^δ,z) 의 형태로 Lagrangian 완화를 사용하며 λ 가 은밀성의 강도를 결정한다. 최적화는 제로스 차 추정기와 ℓ∞ 투영을 조합한다. 구체적으로 m 개의 랜덤 방향 u_i 를 표본하고 중앙차분을 사용해 ∇̂J(δ) 를 근사한 뒤 학습률 η 로 갱신하고 Π_{[-ε,ε]} 로 투영한다. 구현상 기본 하이퍼파라미터는 재계획당 m 및 c 값과 반복 횟수 8, ε=0.06, 각 재계획에서 총 17 WAM 포워드 쿼리(양방향 평가 포함)로 설정되어 실험에서 사용되었다.

연구는 배포된 WAM에 대한 온라인 블랙박스 공격만 다루며 훈련시간 공격, 모델 추출, 보상 해킹, 또는 환경 물리적 변조와 같은 위협은 고려하지 않았다. 제안된 전처리 기반 방어 실험은 비적응형 공격에 한정되어 있으며 적응형 공격에 대한 견고성은 평가하지 않았다. 또한 물리적 세계에서의 이식성이나 실시간 제약 조건을 고려한 최적화 비용 절감은 본 논문의 범위를 벗어난다.