내부 표현을 통한 LLM 안전성 확보: 내부 상태 분석을 이용한 유해 콘텐츠 탐지

기존의 AI 안전 가드레일 모델들은 LLM의 최종 출력 결과에만 의존하여 유해성을 판단했으나, 이 논문은 모델 내부 레이어에 숨겨진 풍부한 안전 관련 정보를 활용하는 SIREN을 제안한다. 이를 통해 파라미터 수를 250배 줄이면서도 기존 SOTA 모델보다 높은 정확도와 실시간 탐지 성능을 확보했다.

Transformer 기반 LLM은 입력된 텍스트를 여러 레이어를 거쳐 처리하며, 각 레이어는 저수준의 문법부터 고수준의 추상적 의미까지 단계적으로 정보를 구축한다. 기존 가드 모델은 마지막 레이어의 결과물만 보고 유해성을 판단하지만, 실제로는 중간 레이어들에 유해한 의도나 위험한 개념을 포착하는 '안전 뉴런'들이 넓게 분포되어 있다.

SIREN은 먼저 Linear Probing을 통해 각 레이어에서 유해성 분류에 가장 큰 영향을 미치는 뉴런들을 선별한다. 이는 마치 거대한 도서관에서 특정 주제의 책들이 꽂힌 위치를 찾아내는 것과 같다. 이후 각 레이어의 중요도를 성능 기반으로 계산하여, 유해성 정보가 풍부한 중간 레이어의 신호를 더 강하게 반영하도록 설계했다.

결과적으로 SIREN은 모델 전체를 다시 학습시킬 필요 없이, 이미 모델 내부에 존재하는 안전 정보를 효율적으로 추출하여 결합한다. 이를 통해 아주 적은 연산량만으로도 문맥의 위험성을 정확하게 짚어낼 수 있게 된다.

SIREN은 2단계 구조로 동작한다. 첫 번째 단계인 '안전 뉴런 식별'에서는 동결된 LLM의 각 레이어 l에서 중간 표현 x_l을 추출하고 평균 풀링을 적용하여 문장 수준의 벡터 x*_l을 생성한다. 이후 L1 규제가 포함된 선형 회귀를 통해 각 뉴런의 가중치 W_l을 학습시키고, 가중치 크기가 큰 상위 뉴런들을 안전 뉴런 집합 S_l로 선택한다.

두 번째 단계인 '적응형 뉴런 통합'에서는 각 레이어의 검증 F1 점수 f_l을 입력으로 하여 레이어 가중치 α_l = (f_l - f_min) / (f_max - f_min)을 계산한다. [각 레이어의 성능 수치 → 정규화 연산 → 레이어별 중요도] 과정을 거쳐 정보량이 많은 레이어에 높은 가중치를 부여한다. 최종적으로 α_l이 곱해진 안전 뉴런들의 활성화 값을 모두 이어 붙여(concatenation) 다층 퍼셉트론(MLP) 분류기에 입력함으로써 유해 여부를 최종 판정한다.

SIREN은 Qwen3-0.6B, Llama3.2-1B 등 다양한 백본 모델에서 기존 가드 모델(LlamaGuard3, Qwen3Guard)을 압도했다. Llama3.2-1B 기반 SIREN은 평균 F1 스코어 85.7%를 기록하여 동일 백본의 가드 모델(70.7%) 대비 15%p 성능 향상을 보였다. 특히 학습에 사용되지 않은 'Think' 벤치마크(추론 과정 포함)에서도 8B 모델 기준 평균 11.2%p 높은 성능을 기록하며 뛰어난 일반화 능력을 증명했다.

효율성 측면에서 SIREN은 기존 생성형 가드 모델 대비 추론 시 FLOPs(연산량)를 약 4배 절감했다. 생성형 모델이 'Safe/Unsafe'라는 단어를 생성하기 위해 여러 번의 디코딩 과정을 거치는 반면, SIREN은 단 한 번의 순전파(forward pass)만으로 분류를 완료하기 때문이다. 또한 파라미터 수는 Qwen3-4B 기준 250배 적은 14M개만으로 학습이 가능했다.

SIREN 아키텍처는 동결된 트랜스포머 백본 위에 구축된 경량 분류 헤드 구조를 취한다. 핵심은 '선형 표현 가설(Linear Representation Hypothesis)'에 기반하여 각 레이어의 특징 공간에서 유해성 개념이 선형적으로 분리 가능하다는 점을 활용한 것이다. 중간 레이어(Middle layers)가 터미널 레이어보다 유해성 분류 성능이 높다는 실험 결과를 바탕으로, 레이어별 성능에 따른 적응형 가중치(Adaptive Layer-weighted Aggregation)를 도입하여 정보 손실을 최소화했다.

구현 시 각 레이어의 Residual Stream과 FFN 활성화 값을 모두 고려하며, L1 Regularization을 통해 유해성 판단에 불필요한 뉴런을 제거하는 Sparsification 과정을 거친다. 이는 전체 차원 중 약 1.75%~12.9%의 뉴런만으로도 충분한 성능을 낼 수 있음을 보여준다. 또한 스트리밍 환경에서는 이전 토큰들의 내부 상태를 평균 풀링하여 현재 시점까지의 유해성을 즉각 판별하는 Zero-shot 전이 방식을 채택했다.

본 연구의 안전 뉴런 선택은 표준 트랜스포머 아키텍처를 전제로 하는 선형 표현 가설에 의존하므로, 구조가 크게 다른 모델에서는 추가적인 적응이 필요할 수 있다. 또한 현재는 유해/무해의 이진 분류에 집중하고 있어, 다중 카테고리의 세부적인 안전 가이드라인 적용은 향후 과제로 남아있다.