언어 모델의 정책 라우팅 경로: 정책 회로의 국소화, 스케일링 및 제어

이 논문은 정렬 학습된 언어 모델이 민감한 질문을 받았을 때 어떻게 거부 반응을 일으키는지에 대한 내부 메커니즘인 'Policy Routing'을 규명했다. 특정 Attention Head가 게이트 역할을 하여 거부 신호를 증폭시킨다는 사실을 밝혀냄으로써, 모델의 안전성 우회 취약점을 예측하고 더 정교한 방어 체계를 구축할 수 있는 기반을 마련했다.

Transformer 모델이 입력을 처리할 때, 특정 레이어에서 해당 질문이 '민감한 주제'인지 여부를 판단하는 Contextual Representation이 형성된다. 기존에는 이 판단 결과가 모델 전체에 퍼져 있다고 생각했으나, 본 논문은 특정 Attention Head(Gate)가 이 신호를 읽어 들여 하위 레이어의 증폭기(Amplifier)들에게 '거부 모드로 전환하라'는 명령을 내리는 라우팅 경로가 존재한다는 점에 주목했다.

이 메커니즘은 마치 건물의 화재 경보기와 같다. 특정 센서(Gate)가 연기를 감지하면 경보 벨(Amplifier)을 울려 건물 전체의 대응 방식을 바꾸는 것과 유사하다. 연구팀은 이 Gate Head의 활성값을 조절함으로써 모델의 반응을 '강력한 거부'에서 '회피', '사실적 답변'에 이르기까지 연속적으로 제어할 수 있음을 보여주었다.

결과적으로 모델의 안전성은 지식 자체가 삭제된 것이 아니라, 이 라우팅 회로에 의해 '게이팅'되어 있는 상태이다. 따라서 암호화와 같이 Gate Head가 인식하지 못하는 형태로 입력을 변형하면, 모델 내부의 안전 지식은 그대로 유지된 채 라우팅 회로만 우회하여 답변을 이끌어낼 수 있게 된다.

연구진은 모델 내부의 신호 흐름을 추적하기 위해 Direct Logit Attribution(DLA)을 사용했다. DLA는 각 컴포넌트의 출력을 최종 Logit 차이(거부 vs 답변) 방향으로 투영하여 계산한다. [각 Head의 출력 벡터 → 거부-답변 방향 벡터와의 내적 → 해당 Head의 기여도 수치] 과정을 통해 어떤 Head가 거부에 기여하는지 정량화했다.

회로의 인과성을 증명하기 위해 Interchange Testing을 도입했다. 이는 민감한 프롬프트와 일반 프롬프트 쌍을 실행하면서 특정 Head의 활성값만 서로 교체(Swap)하는 기법이다. [민감 프롬프트 실행 중 특정 Head 활성값을 일반 프롬프트의 것으로 교체 → 전체 라우팅 신호의 감소량 측정 → 해당 Head의 필수성(Necessity) 판정] 순으로 진행하여 Gate Head를 특정했다.

또한 Cipher Contrast Analysis라는 효율적인 회로 발견 기법을 제안했다. 평문(Plaintext)과 암호문(Ciphertext) 상태에서의 DLA 차이를 비교하여 컨텐츠 의존적인 라우팅 Head들을 O(3n)의 연산량으로 모두 식별해냈다. [평문 DLA - 암호문 DLA → 절댓값 계산 → 컨텐츠 민감도 점수]를 통해 Interchange Testing보다 넓은 범위의 회로 구성 요소를 찾아냈다.

Qwen3-8B 모델에서 L17.H17 Head가 가장 강력한 Gate 역할을 수행함을 확인했다. 이 Head를 Knockout 시켰을 때 하위 6개 Amplifier 중 5개의 신호가 5-26% 억제되는 연쇄 효과(Knockout Cascade)가 나타났다. 12개 모델 전반에서 이러한 Gate-Amplifier 구조가 공통적으로 발견되었으며, 모델이 커질수록 개별 Head의 Ablation 효과는 약해지지만 회로의 논리적 구조는 유지되었다.

치환 암호를 사용한 실험에서 Phi-4-mini 모델의 경우 Gate의 필수성이 99% 붕괴되었으며, 모델은 거부 대신 암호 해독(Puzzle-solving) 모드로 전환되었다. 이때 평문 상태의 Gate 활성값을 암호문 실행 과정에 강제로 주입(Injection)하자 거부 반응이 48.3% 복구되었다. 이는 안전 우회가 단순히 모델이 입력을 이해하지 못해서가 아니라, 라우팅 인터페이스 단계에서 감지에 실패했기 때문임을 시사한다.

본 연구는 거부 메커니즘이 단일 방향(Single Direction)으로 매개된다는 기존 연구를 넘어, 그 방향이 어디서 기원하는지 회로 수준에서 분해했다. 라우팅 회로는 크게 감지(Detection, L15-16), 라우팅(Routing, L17 Gate), 증폭(Amplification, L22-23)의 단계로 구성된다. 특히 Gate Head는 출력 DLA 기여도는 1% 미만으로 낮지만, 하위 Amplifier들을 트리거하는 인과적 통제권을 가짐을 증명했다.

스케일링 분석 결과, 모델 파라미터가 증가함에 따라 Gate Head는 모델의 상대적 깊이에서 더 깊은 곳으로 이동하는 경향을 보였다(2B 모델 50% 지점 → 72B 모델 99% 지점). 이는 대규모 모델일수록 라우팅 결정을 내리기 위해 더 복잡한 컨텍스트 표현이 필요함을 의미한다. 또한 MLP 경로가 라우팅 신호의 약 23%를 담당하며 주제별 특화된 신호를 전달한다는 점도 밝혀냈다.

MLP 경로가 라우팅 신호의 23%를 차지함에도 불구하고 아직 특징(Feature) 수준으로 완전히 분해되지 않았다. 또한 사고 체인(CoT)을 사용하는 추론 모델이나 멀티모달 모델에 대한 적용 가능성은 검증되지 않았으며, 정치적 검열 및 안전 거부 외의 다른 정렬 행동에 대해서는 테스트되지 않았다.