Qwen 2.5의 내부 감정 처리 메커니즘 분석: Activation Lab 실험 결과

실용적 조언

LLM의 응답이 지나치게 긍정적일 경우, 이는 학습 과정에서 형성된 내부 기하학적 편향 때문일 수 있음을 인지해야 한다.
긴 대화에서 감정적 맥락을 유지해야 하는 앱을 설계할 때, 대화 후반부로 갈수록 감정 신호가 희석될 수 있음을 고려해야 한다.

섹션별 상세

Qwen 2.5 모델의 잔차 스트림이 감정적 중추 역할을 수행하며 대화의 감정 온도를 일정하게 유지한다. 모델 내부의 정보 고속도로인 잔차 스트림은 감정 참조값과 0.83–0.88의 코사인 유사도를 지속적으로 유지하며 대화의 맥락을 파악한다. 실험 데이터에 따르면 모델은 사용자의 감정 변화를 실시간으로 추적하면서도 자신의 내부 상태를 완전히 동화시키지 않는 안정성을 보였다.

감정의 구체적인 식별은 모델의 심층부인 29~33번 레이어에서 집중적으로 발생한다. 초기 레이어는 감정의 존재 여부만 감지하고 중간 레이어는 긍정과 부정을 구분하지만, 31번 레이어에 도달해서야 기쁨과 슬픔 같은 구체적인 감정을 판별한다. 이는 모델이 계층적 구조를 통해 단순 신호 탐지에서 복잡한 감정 해석으로 나아가는 과정을 수치적으로 증명한다.

Instruction Tuning의 영향으로 모델 내부 구조가 기쁨(Joy)을 기본 설정으로 하는 긍정 편향성을 띠게 되었다. 사용자가 분노하거나 슬픈 감정을 표현하는 턴에서도 모델 내부의 기쁨 참조 점수가 가장 높게 측정되는 현상이 관찰됐다. 이는 모델을 유익하고 친절하게 만들기 위한 학습 과정이 모델의 내부 기하학적 구조 자체를 긍정적인 방향으로 이동시켰음을 시사한다.

대화가 길어질수록 모델이 유지하는 감정적 기억의 강도가 점진적으로 약화되는 경향을 보인다. 첫 번째 메시지에서는 감정 일치도가 0.90의 높은 코사인 유사도를 보였으나, 19번째 메시지에 이르러서는 0.67–0.73 수준으로 하락했다. 긴 대화 맥락 속에서 초기 감정 신호가 희석되며 모델의 내부 상태가 점차 옅어지는 메커니즘이 확인됐다.

용어 해설

잔차 스트림(Residual Stream): — 트랜스포머 모델 내부에서 각 레이어를 거치며 정보가 전달되고 업데이트되는 주된 통로이다. 이 아티클에서는 모델이 대화의 감정적 온도를 유지하는 핵심 정보 고속도로로 묘사되며, 감정적 참조값과 0.83–0.88의 높은 유사도를 유지하는 역할을 한다.
코사인 유사도(Cosine Similarity): — 두 벡터 사이의 각도를 측정하여 방향의 유사성을 수치화하는 지표이다. 모델의 내부 상태가 특정 감정의 지문(fingerprint)과 얼마나 일치하는지 측정하는 도구로 사용되며, 1에 가까울수록 두 상태가 감정적으로 매우 유사함을 의미한다.
해석 가능성(Interpretability): — AI 모델이 특정 결과를 도출한 내부 메커니즘을 인간이 이해할 수 있는 형태로 설명하는 연구 분야이다. 본문에서는 Activation Lab 도구를 통해 모델의 각 레이어 스냅샷을 캡처하여 감정 처리 과정을 시각화하고 분석하는 목적으로 활용됐다.
지시어 튜닝(Instruction Tuning): — 모델이 사용자의 명령을 따르도록 특정 데이터셋으로 추가 학습시키는 과정이다. 실험 결과에 따르면 이 과정을 통해 모델의 내부 기하학적 구조가 긍정적인 방향으로 편향되어, 분노나 슬픔 상황에서도 기쁨(Joy) 점수가 높게 나타나는 현상이 관찰됐다.

언급된 도구

Activation Lab추천링크

LLM의 모든 레이어 내부 상태를 캡처하고 분석하는 해석 가능성 도구

언급된 리소스

GitHubActivation Lab GitHub Repository