InvertSteer: LLM에서 Activation Steering의 역추정

왜 중요한가

Activation Steering의 역추정을 통해 화이트박스 제어와 블랙박스 프롬프트 간의 근본적 차이를 밝힌다. 프롬프트 기반 해석가능성이나 안전성 연구가 Activation Steering의 용이성만으로 평가되어서는 안 되며, 화이트박스와 블랙박스 개입을 구분하는 평가 프로토콜이 필요하다고 제시한다.

핵심 기여

Surjectivity 기반 분석

고정된 모델에 대해 Activation Steering이 프롬프트로 재현 가능한지 여부를 surjectivity 관점에서 분석한다. 실험적으로도 discrete prompt의 프롬프트 공간에서 steering된 내부 동작을 동일하게 재현하는 preimage가 거의 존재하지 않음을 보인다.

화이트박스 vs 블랙박스의 명확한 분리

Activation Steering으로 유도된 내부 활성화와 텍스트 프롬프트로 재현되는 내부 활성화는 서로 다른 경로에서 도달하며, 이 둘 사이의 구별이 가능함을 이론적·실험적으로 확인한다.

다양한 LLM에서의 실증 검증

세 가지 널리 사용된 LLM에서 본 현상은 일관되게 관찰되었다. 이는 프롬프트 기반 해석의 일반화된 한계를 시사한다.

평가 프로토콜 제안

화이트박스와 블랙박스 중재를 명확히 분리하는 평가 절차의 필요성을 강조하고, 프롬프트 기반 해석의 한계를 경계하는 지침을 제시한다.

핵심 아이디어 이해하기

,

방법론

[출발점] Activation Steering은 모델의 Residual stream을 특정 방향으로 조작하여 의도한 동작 변화를 이끈다. 프롬프트를 통해 얻은 Activation들로 구성된 ‘Discrete Prompt Activations’ 공간은 일반적으로 Activation Steering이 제시하는 상태 공간의 부분집합으로 간주된다. [핵심 원리] 어떤 활성화 상태가 특정 프롬프트에 의해 재현될 수 있는지 확인하려면 Forward Pass의 매핑에서 프롬프트 입력으로부터 해당 활성화 상태의 preimage가 존재하는지 확인한다. 이때 Activation Steering으로 얻은 상태는 프롬프트로 생성된 상태의 매니폴드에서 벗어나 있을 확률이 매우 높다. [실험 설계] SipIt 구성요소와 세 가지 LLM에 대해 steer된 활성화와 discrete prompts가 같은 출력/내부 상태를 유도하는지 측정한다. [수학적 관점] ‘preimage 존재 여부’는 forward 함수의 매핑 특성에 의해 결정되며, Steering이 도달하는 내부 상태가 프롬프트의 매니폴드에 거의 존재하지 않는다는 것은 확률적으로 거의 불가능한 경우로 간주된다.

주요 결과

주요 결과는 Activation Steering으로 얻은 내부 활성화가 discrete prompt로 재현될 가능성이 거의 없음을 보여준다. 실험은 세 가지 LLM에서 일관되게 나타났고, 자연 상태와 steer 상태 사이의 내적 거리(L2 차이)가 프롬프트로 재현되는 경우에 비해 현저히 크다. 이로써 white-box steerability와 black-box prompting 사이의 형식적 차이가 존재함을 확인한다.

기술 상세

[아키텍처 구성] LLM은 Residual Stream과 내부 Activations로 구성되며, Activation Steering은 r_s, r_g와 같은 방향으로 residual을 조작한다. [수학적 기반] preimage 존재 여부를 forward pass의 매핑으로 정의하고, steer된 활성화가 discrete prompt의 매니폴드에 속하는지 여부를 평가한다. [Prior work 대비 차별점] 활성화 steering의 재현성은 텍스트 프롬프트의 표현으로만 얻어지는 것이 아님을 보이며, 프롬프트 기반 해석의 한계를 수학적으로 분리한다. [구현/학습 세부사항] SipIt 도구를 사용하고, 세 LLM에서 steer 상태와 프롬프트 상태의 매핑을 실험적으로 비교한다. [이론적 분석] 활성화 공간의 기하학적 구조상 프롬프트로 동일한 내부 상태를 재현하기 어려운 경향을 보인다.

키워드

Activation Steeringsurjectivitypreimagewhite-box controlpromptingLLM safety

용어 해설

Activation Steering: — 활성화 제어를 통해 모델의 내부 활성화를 수정하여 행동 변화를 이끌어내는 기법. 화이트박스 제어에 해당하며 해석가능성 및 안전성 연구에서도 활용된다.
서젝서비티(Surjectivity): — 함수 f가 정의역의 모든 원소를 공역의 원소에 대응시키는 성질. 본 연구에서는 Activation Steering이 Forward Pass의 프리이미지를 보장하는지 여부를 다룬다.
프리이미지(Preimage): — 주어진 출력 값을 생성하는 입력 값의 모임. Activation Steering의 경우, 특정 활성화 상태를 만들어내는 텍스트 프롬프트의 존재 여부를 의미한다.
화이트박스 제어(White-box Control): — 모델의 내부 구조와 동작을 알고 있는 상태에서 수행하는 제어 방법. 본 연구는 이와 대조되는 black-box 프롬프트와의 차이를 강조한다.
블랙박스 프롬핑(Black-box Prompting): — 모델의 내부를 알지 못한 채 입력(prompt)만으로 제어를 시도하는 방법. Activation Steering과의 차이를 분석하는 데 사용된다.

InvertSteer: LLM에서 Activation Steering의 역추정

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

키워드

관련 토론

댓글

관련 피드