Prompt–Activation Duality: Attention-Level Interventions를 통한 Activation Steering 개선

대형 언어 모델의 activation steering은 추론 시 내부 표현에 방향을 더해 행동을 제어한다. 그러나 stateful 대화에서 KV-cache 오염으로 인해 지역적 perturbation이 누적되어 coherence가 저하될 수 있다. GCAD는 system-prompt에 의한 self-attention 신호를 추출하고 토큰 단위 게이팅으로 재주입하여 이 문제를 완화하고, 15개 trait의 코히어런스 드리프트를 대폭 줄이며 turn-10에서 trait 표현을 크게 향상시킨다.

단락 1: Activation steering은 상태 의존적 대화에서 일관된 제어를 제공하기 어려운 문제를 갖고 있다. KV-cache 컨탐INATION으로 인해 로컬 perturbation이 다턴에 걸쳐 누적될 수 있다. 단락 2: 본 연구는 attention 경로를 통해 trait 신호를 포착하고, system-prompt 토큰에 한정해 신호를 추출·재주입하는 GCAD를 제안한다. 단락 3: Cropping과 per-token gating으로 프롬프트-공유 경로를 유지하면서도 토큰별로 차등적으로 제어를 적용해 Sparse, Prompt-like 제어를 재현한다. 단락 4: distributed attention 신호를 활용하고, MLP 경로의 기여를 억제하며, long-horizon 대화에서의 안정성과 trait 표현의 균형을 달성한다.

새로운 접근은 세 단계로 구성된다. 1) Attnℓ(h^(ℓ))의 구성에서 system-prompt 신호를 분리하여 Attn_sys(h^(ℓ))를 얻는다. 2) Cropping으로 system-prompt token 위치 S에 한정해 Attn_sys를 합산하고, ∆^(ℓ) = ED+ [Attn_sys(h_pos^(ℓ))] − ED− [Attn_sys(h_neg^(ℓ))]로 계수화한다. 3) gated coefficient c_i^(ℓ) = 2 cbase · σ(s · (d_i^(ℓ) − ¯d^(ℓ)))를 도입해 토큰 i의 steering 강도를 조정한다. 여기에 d_i^(ℓ) = (1/nheads) ∑_h Q^(ℓ,h)_i · K̄^(ℓ,h)_sys / sqrt(d_head)로 토큰-프롬프트 호환도를 추정한다. 최종 갱신은 a_t,steered = a_t + c_t^(ℓ) ∆^(ℓ)로 Attn 결과를 수정하고, h^(ℓ+1)_t = h^(ℓ)_t + a_t,steered + MLPℓ[ LN(ℓ)2(h^(ℓ) + a_t,steered) ]의 순서로 진행한다.

주요 결과는 Qwen2.5-7B-Instruct와 Llama-3-8B-Instruct 두 모델에서 확인된다. Qwen2.5-7B-Instruct의 15-trait 평균에서 coherence drift가 Original의 -18.6에서 GCAD의 -1.9로 감소했고 turn-10에서 trait expression은 78.0에서 93.1로 상승했다. 또한 평균 trait-expression은 81.5에서 91.8로 향상되었다. Llama-3.1-8B-Instruct에서도 coherence drift가 Original의 -26.5에서 GCAD의 -0.2로 개선되었고 trait-expression의 평균은 대략 82.7에서 91.1로 증가한다. 두 모델 모두 trait 표현을 유지하거나 증가시키면서 코히어런스의 장기 하락을 억제한다.

아키텍처적으로 GCAD는 multi-layer decoder의 self-attention 출력에 perturbation을 주입한다. Attnℓ(h^(ℓ))의 시스템 프롬프트 기여를 Cropped Attn으로 한정해 시스템 프롬프트 소스-토큰의 기여만 남기고, per-layer delta ∆^(ℓ)로 정의한다. d_i^(ℓ) = (1/nheads) ∑_h Q^(ℓ,h)_i · K̄^(ℓ,h)_sys / sqrt(d_head)로 토큰-프롬프트 호환도를 추정하고, 2 cbase × σ( s · (d_i^(ℓ) − ¯d^(ℓ)) )로 게이팅을 적용한다. 최종 업데이트에서 a_t,steered에 c_t^(ℓ) ∆^(ℓ)을 더하고, MLP를 거친 후 다음 레이어로 전달한다. 실험은 Qwen2.5-7B-Instruct와 Llama-3-8B-Instruct의 28/32-layer 구조에서 레이어 범위 9–19 또는 8–20 등으로 설정되며, α, cbase, s 값에 대해 ablation 실험을 수행한다.