중간층이 아는 것: 엔트로피 동역학으로부터의 Jailbreak 탐지

Jailbreak 프롬프트는 안전장치를 회피해 유해 출력을 유발하므로 실전 배포에서 탐지가 필수다. 본 논문은 추가 학습 없이도 모델 내부의 중간층 토큰별 예측 엔트로피 궤적에서 구조적 신호를 찾아 안전 모니터링 근거를 제공한다.

Transformer는 각 토큰 위치에서 hidden state를 형성하고, 최종 layer의 unembedding과 softmax를 거쳐 다음 토큰 확률을 출력한다. 이때 softmax( z ) 연산은 각 단어별 logit z_i에 대해 e^{z_i}/Σ_j e^{z_j}를 계산한다. 큰 logit은 지수 함수에 의해 더 크게 강조되어 확률 분포에서 우세한 항목을 만들고, 합이 1이 되어 확률로 해석된다. 이 기본 메커니즘 때문에 중간 표현을 어휘 공간으로 투사하면 해당 시점의 '다음 토큰에 대한 모델의 믿음과 불확실성'을 측정할 수 있다.

전체 접근 방식: 입력 프롬프트 x = (x_1,...,x_T)를 한 번의 forward pass로 처리한 뒤, K=8개의 probe layers에서 각 토큰 위치 t의 hidden state h_t^{(ℓ)}를 최종 unembedding W_U에 곱해 logit z_t^{(ℓ)} = W_U h_t^{(ℓ)}를 얻는다. 그 후 softmax(z_t^{(ℓ)})로 확률 분포 p^{(ℓ)}(·|x_{<t})를 계산하고 Shannon entropy H_t^{(ℓ)} = -Σ_v p(v) log p(v)를 구해 token-level entropy trace H^{(ℓ)} = (H_1^{(ℓ)},...,H_{T-1}^{(ℓ)})를 구성한다.

메인 벤치마크: 대표적 성능으로 ∼69% depth 층에서 Llama-3.1-8B와 Qwen3-8B의 monotonicity mean AUROC가 0.941으로 보고되었다(Llama 평균 0.941, Qwen3 평균 0.941, Gemma-7b는 0.759). Kendall’s τ와 Spearman’s ρ는 세 모델에서 각각 평균 AUROC 약 0.782~0.800 범위를 보였다. Static features(mean, max 등)는 모델별로 최대 0.272까지 변동하며 일관성 결여를 보였다.

아키텍처 구조: 대상 모델은 Transformer 기반의 LLM(Llama-3.1-8B:32 layers, Qwen3-8B:36 layers, Gemma-7b:28 layers). 각 probe layer ℓ에서 hidden state h_t^{(ℓ)}∈ℝ^d를 최종 unembedding W_U∈ℝ^{|V|×d}에 곱해 vocab logits z_t^{(ℓ)} = W_U h_t^{(ℓ)}를 얻고 softmax로 확률을 계산한다. 이 과정은 logit lens 적용이며 추가 파라미터 업데이트 없이 수행된다.

논문에 명시된 한계: (1) 중간층 활성화에 대한 white-box 접근이 필요해 엄격한 black-box 배포에서는 적용 불가; (2) benign 프롬프트 분포가 adversarial 구조와 겹치면 분리 성능이 크게 저하됨(JailbreakBench benign 결과); (3) logit lens는 representation misalignment로 인해 왜곡을 초래할 수 있으며, fine-tuned lens가 필요한 경우가 있을 수 있음; (4) 더 크거나 다른 정렬을 거친 LLM에서는 다른 엔트로피 동역학이 나타날 수 있어 일반화가 제한될 수 있음.