SAE 개입은 불완전하다: 억제 후 포스트 인터벤션 회복으로 드러난 억제된 행동

Sparse autoencoders(SAEs)가 Residual-stream 표현을 해석가능한 특징으로 분해해 안전 제어에 활용되는 사례가 늘고 있다. 하지만 본 연구는 특정 SAE 특징을 차단해도 억제된 행동이 여전히 재현될 수 있음을 보여준다. 포스트 인터벤션 회복 프레임워크를 통해 개입이 '완전한 차단'이 아닌지 검증할 수 있으며, 이를 통해 안전 평가의 한계와 보강 방향을 제시한다.

• 출발점: Sparse autoencoder가 residual-stream activations를 해석가능한 소수 특징으로 분해한다는 가정 아래, unsafe/원치 않는 행동과 관련된 SAE 특징을 차단하면 그 행동이 완전히 사라질 것이라고 기대한다. 그러나 이는 결정적 조합의 일부 경로를 봉쇄할 뿐, 행동의 근본적 능력을 제거하지는 않는다. 본 연구는 억제된 상태에서도 다른 경로로 행동이 재현될 수 있는지 확인하는 진단으로 포스트 인터벤션 회복을 제시한다.
• 해결 원리: 포스트 인터벤션 회복은 정의된 제약 하에 residual perturbation δx를 최적화해, clamp된 SAE 특징을 재활성화하지 않고도 목표 행동을 회복하는 경로를 찾는 문제다. 이때 두 가지 기술적 축을 사용한다. encorder-orthogonality 제약(C1)으로 one-layer에서 clamped 방향과 직교하는 업데이트를 강제하고, cross-layer Jacobian projection으로 다층 개입에서도 Defended Features를 1차로 바꾸지 않는 업데이트 방향을 찾는다. 이 과정을 PGD(Projected Gradient Descent)로 근사한다.
• 달라지는 점: 실험은 latent(TPP), output(WMDP-Bio unlearning), circuit(IOI) 및 안전-거절 시나리오에서 모두 회복이 가능함을 보였으며, encoder-projected 경로가 재현율은 크게 보존하면서도 defended-feature drift를 거의 0에 가깝게 유지한다. 또한 회복은 clamped features의 재가동이 아니라 SAE reconstruction residual에 의해 주도된다는 것을 밝힌다.

• Threat model: white-box 설정에서 SAE clamp가 활성화된 상태로 유지되며, 모델 가중치나 clamp 자체를 제거하지 않고 δx를 residual에 추가하는 방식으로 회복 경로를 탐색한다.
• Recovery objective: Lrec를 최소화하는 δx를 찾되, C1-C4의 제약 아래에서 이동한다. C1 Encoder Orthogonality: A⊤ℓ,S δx = 0으로, clamped SAE encoder 방향으로의 직접적 수정 금지. C2 Activation Stability, C3 Decode Stability: Eℓ,S(hdefℓ(x) + δx) ≈ cS, Dℓ,S(Eℓ(hrecℓ) ) ≈ cS를 만족하도록 한다. C4 Perturbation Budget: ∥δx∥F ≤ ϵδ로 노멀라이즈된 크기를 제한한다.
• Optimization: 이 제약조건을 만족시키며 δx를 찾기 위해 PGD를 사용한다. 단일 레이어의 경우 고정된 엔코더 방향의 직교성 projection을, 다층의 경우 각 단계의 Jacobian를 이용한 가변적인 orthogonal projection를 수행한다.
• Recovery path decomposition: δres = δx − [Dℓ(Eℓ(hrecℓ) ) − Dℓ(Eℓ(hdefℓ))]를 정의해 회복 경로를 재구성하고, clamped feature, non-clamped SAE features, top-k non-clamped features, SAE reconstruction residual의 기여도를 재현한다.

• 5.1 TPP: latent-level recovery. encoder-projection로 재활성화된 대상 정보의 평균 회복률이 0.819에서 0.749로 감소하나, 재활성화 크기는 0.013에서 0.002로 감소하고 drift은 0.094에서 0.039로 감소한다. Zero-reactivation recovery는 0.103에서 0.680으로 증가한다. 이는 공식 SAE 피처가 완전한 회로 차단을 제공하지 않음을 보여준다.
• 5.2 Unlearning: output-level recovery. 91개의 valid flips 중 unconstrained recovery는 91/91 회복하지만 drift가 크다. encoder-projected recovery는 90/91 회복과 drift를 0으로 유지한다. 이는 회복이 SAE 피처를 재개방하지 않고도 가능하다는 것을 시사한다.
• 5.3 IOI: circuit-level recovery. 37개의 valid flips에서 두 방법 모두 IO-minus-S 결정 회복. 다만 encoder projection은 drift와 feature reactivation를 더 낮게 유지한다.
• 6 Refusal Recovery: 24개의 strict-valid AdvBench prompts에서 Jacobian projection으로 23/24 회복. defended-feature drift가 작게 유지되고, reconstruction residual이 주된 회복 경로로 작용한다. HarmBench-Test에서도 43/43에서 non-refusal 회복이 관찰된다. 실험은 defense의 robusteness를 평가하는 진단으로 해석된다.

• 아키텍처: Transformer residual-stream hℓ(x)를 SAE Eℓ로 매핑해 zℓ(x) = Eℓ(hℓ(x)), hˆℓ(x) = Dℓ(zℓ(x))로 재구성한다. S는 defended feature set, cS는 defended feature 값을 나타낸다. hdefℓ(x) = Dℓ(clampS(zℓ(x); cS)) + hℓ(x) − hˆℓ(x) 형태로 défended residual state를 정의한다.
• Post-Intervention Recovery: hrecℓ(x) = hdefℓ(x) + δx, δx를 정의된 제약 아래에서 최적화한다. 목표는 M_S,c(x)에서 clamp가 유지된 상태에서 target behavior를 회복하는 δx를 찾는 것.
• 제약(C1-C4): C1 Encoder Orthogonality: A⊤ℓ,S δx = 0, C2 Activation Stability: Eℓ,S(hdefℓ(x) + δx) − cS ≤ εact, C3 Decode Stability: Dℓ,S(Eℓ(hdefℓ(x) + δx)) − cS ≤ εdec, C4 Norm Budget: ∥δx∥F ≤ εδ. 다층에서는 cross-layer Jacobian Jt = ∂ΦS(δx)/∂δx를 정의해 g_t ← P⊥Jt g_t으로 업데이트 방향을 제약한다.
• 최적화 방법: Projection-based Gradient Descent(PGD)로 δx를 업데이트하며, encoder-orthogonality 및 Jacobian 제약을 매 스텝에서 적용한다.
• 실험 구성: TPP( layer-5), WMDP-Bio unlearning, IOI, Refusal Recovery 등 다양한 도메인에서 recovery를 평가한다.
• 측정 지표: recovery rate, defended-feature drift, clamp-floor violation, relative perturbation norm 등을 보고한다.
• 한계: 본 연구는 특정 SAE Release/설정에 의존하므로 일반화에 한계가 있을 수 있으며, 더 광범위한 모델/데이터/SAE 구성에서 추가 검증이 필요하다.

논문은 SAE 기반 개입의 일반적 불가능성을 보장하지 않는다. 회복 경로는 SAE objective, dictionary 밀도, 다층 클램핑 여부 등에 따라 달라질 수 있으며, post-clamp 회복을 목표로 한 더 강한 방어가 필요하다. residual 채널 모니터링, 다층/trajectory 수준 제약 또는 post-clamp 회복에 대한 Explicit 학습이 강화된 방어가 요구된다.