Qwen 2.5의 내부 감정 처리 메커니즘 분석: Activation Lab 실험 결과

작성자가 공개한 도구의 시각화 능력과 LLM 내부의 '감정 지문' 분석 방식에 대해 흥미롭다는 반응이 많습니다.

• LLM의 응답이 지나치게 긍정적일 경우, 이는 학습 과정에서 형성된 내부 기하학적 편향 때문일 수 있음을 인지해야 한다.
• 긴 대화에서 감정적 맥락을 유지해야 하는 앱을 설계할 때, 대화 후반부로 갈수록 감정 신호가 희석될 수 있음을 고려해야 한다.

Residual Stream

— 트랜스포머 모델 내부에서 각 레이어를 거치며 정보가 전달되고 업데이트되는 주된 통로이다. 이 아티클에서는 모델이 대화의 감정적 온도를 유지하는 핵심 정보 고속도로로 묘사되며, 감정적 참조값과 0.83–0.88의 높은 유사도를 유지하는 역할을 한다.

Cosine Similarity

— 두 벡터 사이의 각도를 측정하여 방향의 유사성을 수치화하는 지표이다. 모델의 내부 상태가 특정 감정의 지문(fingerprint)과 얼마나 일치하는지 측정하는 도구로 사용되며, 1에 가까울수록 두 상태가 감정적으로 매우 유사함을 의미한다.

Interpretability

— AI 모델이 특정 결과를 도출한 내부 메커니즘을 인간이 이해할 수 있는 형태로 설명하는 연구 분야이다. 본문에서는 Activation Lab 도구를 통해 모델의 각 레이어 스냅샷을 캡처하여 감정 처리 과정을 시각화하고 분석하는 목적으로 활용됐다.

Instruction Tuning

— 모델이 사용자의 명령을 따르도록 특정 데이터셋으로 추가 학습시키는 과정이다. 실험 결과에 따르면 이 과정을 통해 모델의 내부 기하학적 구조가 긍정적인 방향으로 편향되어, 분노나 슬픔 상황에서도 기쁨(Joy) 점수가 높게 나타나는 현상이 관찰됐다.