unembedding-matrix

모델의 마지막 은닉 상태 벡터를 실제 단어(토큰) 확률 분포로 변환하는 선형 변환 행렬이다. 연구진은 이를 활용해 중간 레이어의 은닉 상태를 어휘 공간으로 투영함으로써 각 층에서의 '중간 예측값'을 추출해낸다.