Thinking Tokens가 안전성에 도움이 되는가?

Reasoning(생각) 토큰을 통해 모델이 응답 전에 안전성을 '고심'한다고 일반적으로 가정된다. 본문은 이 가정이 널리 통용되는 것과 달리 많은 최첨단 reasoning 모델에서 실제로는 초기 표현이 최종 거부/응답 결과를 이미 결정함을 보여 안전성 방어 설계 방향을 바꿀 수 있음을 보여준다.

출발점과 기존 한계: Chain-of-Thought 또는 thinking tokens는 모델이 최종 응답 전에 내부적으로 긴 reasoning trace를 생성하게 한다. 이 접근은 수학적/코딩 문제 등에서 성능 향상을 가져왔고, 자연스럽게 안전성에도 도움이 될 것이라는 기대가 존재한다. 기존 연구에서는 instruction-tuned 모델의 안전성 결정이 초기 토큰들에 깊게 의존하는 사례가 보고되었는데, reasoning을 추가하면 이 '얕은' 결정이 바뀔 가능성이 있다고 여겨졌다.

이 논문의 해결 원리: 본문은 모델의 내부 표현(특히 thinking trace의 첫 생성 토큰의 마지막 레이어 hidden state, h0)을 직접 측정하고, 이 표현으로 최종 거부/응답 결과를 선형 분류기로 예측하는 실험을 수행한다. Fisher discriminant J(t)로 refusal vs compliance 그룹의 representation 차이를 추정하고, h0에 대한 ℓ2-regularized logistic regression probe로 AUROC와 balanced accuracy를 측정한다. 수식적 관점에서 Fisher discriminant J(t)는 클래스별 평균 벡터 차이의 제곱을 within-class 분산의 trace로 나눈 값이다: [두 클래스의 평균 벡터 μR(t), μC(t)를 입력으로] → [평균 차이 (μR−μC)와 within-class 공분산 ΣW의 trace tr ΣW(t)를 조합해 (μR−μC)^T (tr ΣW)^{-1} (μR−μC)를 계산함] → [나오는 스칼라는 해당 위치의 표현이 클래스 분리를 얼마나 잘 지원하는지 나타내며] → [값이 클수록 refusal/compliance가 표현 공간에서 선형적으로 분리됨].

달라지는 점: 실험 결과 h0에서 높은 J(0)와 높은 AUROC가 관찰되어, 표면 텍스트가 아닌 hidden representation 수준에서 최종 결정 신호가 이미 존재함이 확인됐다. 또한 thinking이 실제로 의사결정을 수정하는 경우는 드물고, 대부분의 방어 기법은 thinking trace의 'deliberative' 신호를 억누르거나 단순히 over-refusal로 이동시키는 방식으로 동작했다. 따라서 '더 많이 생각하면 더 안전해진다'는 직관이 보편적으로 성립하지 않음이 실험적으로 증명됐다.

전체 접근과 핵심 아이디어: 입력 프롬프트 x에 대해 모델은 thinking trace r = (r1,..., rτ)와 최종 응답 a를 생성한다. thinking trace의 각 위치 t에 대응하는 최종층 hidden state를 ht로 정의하고, 특히 h0는 thinking 블록에서 생성된 첫 토큰 r1의 마지막 레이어 표현이다. 두 그룹(최종 응답이 refusal인 그룹 R, compliance인 그룹 C)을 나누어, 각 위치 t에서 Fisher discriminant J(t)와 선형 probe AUROC/BAcc를 계산했다.

핵심 메커니즘 상세: Fisher discriminant J(t)는 μR(t), μC(t) (각 그룹의 ht 평균)과 within-class 공분산 ΣW(t)의 trace를 사용해 J(t) = (μR − μC)^T (tr ΣW)^{-1} (μR − μC)를 계산한다. [ht 좌표들을 표준화한 뒤] → [클래스 평균 벡터와 class 내 분산을 조합해 스칼라 판별값을 계산함] → [스칼라는 해당 위치의 표현이 refusal/compliance를 얼마나 분리하는지 정량화함]. 선형 probe는 h0의 상위 100 principal components로 차원 축소한 뒤 ℓ2-regularized logistic regression을 5-fold stratified CV로 학습해 out-of-fold refusal 확률을 평가하고, Youden's J로 BAcc 임계값을 선택했다.

연속성 분석과 prefix 실험: 각 입력에 대해 M=8개의 독립 thinking rollouts를 샘플링하고, natural trace 길이의 B%로 잘라서 접두(prefix)를 고정한 뒤 각 prefix에서 N=8개의 최종 응답을 샘플링해 qm,B (해당 prefix에서의 refusal rate)를 추정했다. ContinuationVariance(B)는 각 prefix에서 4 qm,B(1−qm,B)의 평균을 취해 서로 다른 continuations가 결과를 얼마나 분산시키는지 정량화했다. [각 prefix의 N개의 샘플에서 refusal 비율 qm,B를 계산] → [Bernoulli 분산 4 q(1−q)를 적용해 0~1로 정규화된 분산을 얻음] → [복수 prefix에 대해 평균하면 prefix가 결과를 안정적으로 고정하는지 판단 가능].

안전 개입 평가: inference-time 기법( SafePath-ZS, PSR, SafeRemind )과 training-based 기법(STAR-1, R1-ACT, SafeKey, ThinkSafe, STAIR, RAPO)을 각 모델(Qwen3-8B, Olmo-3-7B-Think, Phi-4-Reasoning, GPT-OSS-20B)에 적용해 ASR(attack success rate: harmful prompts에 대한 compliance 비율)과 ORR(over-refusal rate: benign prompts에 대한 refusal 비율)을 측정했다. 각 실험은 M=4 또는 더 큰 샘플링 반복으로 guardrail classifier 4개의 다수결(fractional vote) 기반 라벨링을 사용했다.

메인 벤치마크 결과: first-token h0 기반 선형 probe가 pooled 기준으로 AUROC 0.840–0.948, balanced accuracy 0.763–0.878 범위를 기록했다(Table 1). 표면 텍스트(첫 토큰의 TF-IDF) 기반 probe는 대체로 무작위 수준(AUROC≈0.5)였다. Fisher discriminant J(t)는 thinking trace의 시작(t=0)에서 피크를 보이고 중간에서 내려갔다가 끝에서 다시 상승하는 'refusal valley' 형태를 보였다(Figure 1). ContinuationVariance는 B=20%에서 이미 매우 낮아(<0.2) prefix가 이후 연속 생성의 최종 경로를 사실상 고정함이 확인됐다(Figure 3).

Thinking의 유용성: no-think(B=0%) 대비 think(B=100%) 전환에서 majority-label flip은 입력의 3 0–97% 범위로 모델·셋트마다 다양하게 관찰되나, 전체적으로 생각을 켰을 때 ASR과 ORR를 동시에 줄이는 일관된 개선은 관찰되지 않았다(Figure 4). 문장 단위 분석에서는 rollouts 중 15–34%만이 stance oscillation을 보였고, 그중 71–92%는 performative하여 K=100 재샘플링에서 최종 분포 변화를 유의미하게 야기하지 않았다(Figure 5).

방어 기법 평가: inference-time 방어는 ASR를 낮추려면 ORR가 상승하는 트레이드오프를 보였고, 문장 수준의 meaningful oscillation 수를 전반적으로 감소시켰다(Table 3). training-based 방법은 모델 행동을 더 크게 이동시켰으나 대체로 over-refusal를 증가시키는 방향으로 이동했다(Table 2, Figure 6). Pareto 플롯에서 대부분의 방어는 base 모델의 ASR–ORR 트레이드오프 선상에서 이동했으며, 모든 모델·방어 조합에서 ASR과 ORR를 동시에 개선하는 경우는 없었다(Figure 11).

추가 실험: 모델 규모 확장(Qwen3-32B), RL사후학습(Phi-4-Reasoning-Plus), distillation 기반 DeepSeek 변종 등 추가 모델에서도 동일한 'refusal valley' 현상이 재현됐다(Figure 7).

전체 아키텍처 구조: 평가 대상은 Qwen3-8B, Olmo-3-7B-Think, Phi-4-Reasoning(14B), GPT-OSS-20B 등 reasoning-enabled open-weight 모델이다. 각 모델은 Chat-like 템플릿에서 thinking block(... 또는 harmony analysis 채널)을 출력한 뒤 최종 응답을 생성한다. hidden representation ht는 thinking trace에서 정규화된 100개의 위치 인덱스(t∈{0,...,99})로 샘플링되며, h0는 thinking 블록의 첫 토큰 r1의 최종 레이어 표현이다.

핵심 메커니즘의 수학적 기반: Fisher discriminant J(t)는 클래스별 평균 벡터 차이와 within-class 분산(trace ΣW)으로 계산된다. [각 위치의 ht들을 표준화] → [μR(t), μC(t) 계산] → [ΣW(t) = EC (ht−μC)(ht−μC)^T + ER(ht−μR)(ht−μR)^T 계산] → [J(t) = (μR−μC)^T (tr ΣW)^{-1} (μR−μC) 산출]. 선형 probe는 h0를 표준화한 뒤 PCA로 상위 100성분에 투사하고 ℓ2-regularized logistic regression을 5-fold stratified CV로 학습해 out-of-fold 확률을 얻는다. Youden's J로 threshold를 선택해 balanced accuracy를 산출한다.

Prior work 대비 차별점: 기존 연구는 chain-of-thought가 성능을 높인다는 점과 instruction-tuned 모델에서 안전성 결정이 초기 토큰에 편향될 수 있다는 관찰을 보고했다. 본문은 reasoning-enabled 모델 전반에서 이 현상이 재현되며, 특히 thinking trace의 텍스트 수준 'deliberation'이 내부 표현 차원에서 결과를 바꾸지 못하는 경우가 다수임을 실험적으로 규명한다. 또한 다양한 inference-time 및 training-time 방어 기법을 동일한 평가 프로토콜 하에서 비교해, 이들 방법이 실제로는 deliberation을 증가시키지 못함을 정량화했다.

구현 및 학습 세부사항: 평가 데이터셋은 WildJailbreak, FORTRESS(ASR)와 OR-Bench-Hard, FalseReject, CoCoNot, PHTest, ORFuzzSet(ORR)을 사용했다(Table 4). decoding은 vLLM에서 nucleus sampling(모델별 default temperature/top-p/top-k 사용, Table 5)로 수행했고 thinking budget은 16,384 tokens로 설정했다. inference-time 방어 구현(PSR, SafeRemind, SafePath-ZS)은 원문 레시피를 vLLM 미들웨어로 포팅해 충실히 재현했다. training-based 방법들은 논문별 공개 레시피(LoRA, full-parameter SFT, GRPO 등)를 사용해 각 베이스 모델에 대해 재학습/adapter 학습을 수행했다(App. B.3). 통계적 유의성은 paired t-test와 95% bootstrap CI(1000 resamples)로 평가되었다.

평가 메트릭 및 라벨링: 최종 응답 라벨링은 4개의 guardrail classifiers(WildGuard, Qwen3Guard, Granite Guardian, GPT-OSS-Safeguard)로 구성된 fractional vote를 사용하고, binary 판단은 4개 중 3개 이상 일치 시 거부로 표기하였다.

본문에서 언급된 한계는 두 가지이다. 첫째, 평가 대상은 moderate-size open-weight reasoning models로서 훨씬 더 큰 모델이나 closed-weight 상용 모델에 일반화된 결론을 바로 확장할 수 없다. 둘째, 연구는 주로 refusal/compliance 차원(ASR, ORR)에 초점을 맞추었고 사실성, 기만성, 개인정보 노출, multi-turn 상호작용 등 다른 안전성 축은 포함하지 않았다.