Qwen 2.5의 내부 감정 처리 메커니즘 분석: Activation Lab 실험 결과

작성자가 공개한 도구의 시각화 능력과 LLM 내부의 '감정 지문' 분석 방식에 대해 흥미롭다는 반응이 많습니다.

• LLM의 응답이 지나치게 긍정적일 경우, 이는 학습 과정에서 형성된 내부 기하학적 편향 때문일 수 있음을 인지해야 한다.
• 긴 대화에서 감정적 맥락을 유지해야 하는 앱을 설계할 때, 대화 후반부로 갈수록 감정 신호가 희석될 수 있음을 고려해야 한다.

• LLM은 특정 레이어(특히 31번 레이어)에서 감정을 정교하게 구분하며, 이는 명시적인 감정 학습 없이도 훈련 과정에서 자연스럽게 습득된 능력이다.
• 모델은 사용자의 감정에 공감하면서도 내부 상태의 격차(0.03~0.13)를 유지하는 일종의 감정 완충 장치 메커니즘을 가지고 있다.
• Instruction Tuning은 모델의 행동뿐만 아니라 내부 레이어의 기하학적 구조를 긍정적인 방향으로 재편하는 효과를 가져온다.