token-level-entropy

모델이 다음 토큰을 예측할 때 느끼는 불확실성을 수치화한 것으로, 엔트로피가 높을수록 모델이 생성하는 내용의 일관성이 떨어질 가능성이 큽니다.