InvertSteer: LLM에서 Activation Steering의 역추정

Activation Steering의 역추정을 통해 화이트박스 제어와 블랙박스 프롬프트 간의 근본적 차이를 밝힌다. 프롬프트 기반 해석가능성이나 안전성 연구가 Activation Steering의 용이성만으로 평가되어서는 안 되며, 화이트박스와 블랙박스 개입을 구분하는 평가 프로토콜이 필요하다고 제시한다.

,

[출발점] Activation Steering은 모델의 Residual stream을 특정 방향으로 조작하여 의도한 동작 변화를 이끈다. 프롬프트를 통해 얻은 Activation들로 구성된 ‘Discrete Prompt Activations’ 공간은 일반적으로 Activation Steering이 제시하는 상태 공간의 부분집합으로 간주된다. [핵심 원리] 어떤 활성화 상태가 특정 프롬프트에 의해 재현될 수 있는지 확인하려면 Forward Pass의 매핑에서 프롬프트 입력으로부터 해당 활성화 상태의 preimage가 존재하는지 확인한다. 이때 Activation Steering으로 얻은 상태는 프롬프트로 생성된 상태의 매니폴드에서 벗어나 있을 확률이 매우 높다. [실험 설계] SipIt 구성요소와 세 가지 LLM에 대해 steer된 활성화와 discrete prompts가 같은 출력/내부 상태를 유도하는지 측정한다. [수학적 관점] ‘preimage 존재 여부’는 forward 함수의 매핑 특성에 의해 결정되며, Steering이 도달하는 내부 상태가 프롬프트의 매니폴드에 거의 존재하지 않는다는 것은 확률적으로 거의 불가능한 경우로 간주된다.

주요 결과는 Activation Steering으로 얻은 내부 활성화가 discrete prompt로 재현될 가능성이 거의 없음을 보여준다. 실험은 세 가지 LLM에서 일관되게 나타났고, 자연 상태와 steer 상태 사이의 내적 거리(L2 차이)가 프롬프트로 재현되는 경우에 비해 현저히 크다. 이로써 white-box steerability와 black-box prompting 사이의 형식적 차이가 존재함을 확인한다.

[아키텍처 구성] LLM은 Residual Stream과 내부 Activations로 구성되며, Activation Steering은 r_s, r_g와 같은 방향으로 residual을 조작한다. [수학적 기반] preimage 존재 여부를 forward pass의 매핑으로 정의하고, steer된 활성화가 discrete prompt의 매니폴드에 속하는지 여부를 평가한다. [Prior work 대비 차별점] 활성화 steering의 재현성은 텍스트 프롬프트의 표현으로만 얻어지는 것이 아님을 보이며, 프롬프트 기반 해석의 한계를 수학적으로 분리한다. [구현/학습 세부사항] SipIt 도구를 사용하고, 세 LLM에서 steer 상태와 프롬프트 상태의 매핑을 실험적으로 비교한다. [이론적 분석] 활성화 공간의 기하학적 구조상 프롬프트로 동일한 내부 상태를 재현하기 어려운 경향을 보인다.