재정규화
전체 어휘 사전의 확률 분포 중 특정 클래스에 해당하는 토큰들의 확률만 따로 추출하여 합이 1이 되도록 다시 계산하는 과정이다. 본문에서는 파인튜닝을 통해 모델이 스스로 클래스 토큰에 확률을 집중시키므로 이 과정이 불필요해짐을 강조한다.
단돈 2,800원으로 LLM을 완벽한 분류기로 만드는 비결