logits
모델의 마지막 레이어에서 출력되는 정규화되지 않은 예측값이다. 소프트맥스 함수를 거쳐 확률 분포로 변환되기 전의 수치들을 의미한다.
학습 없이 로짓만으로 LLM 환각 잡아낸다: 유출된 에너지 기법
Character.AI가 공개한 6비트 그래디언트 압축과 효율적 학습 비결