Raw Logits

Raw Logits는 Softmax를 적용하기 전 모델이 출력하는 클래스별 점수입니다. 손실 함수에 로짓을 직접 전달하면 별도의 확률 텐서를 만들지 않아 시퀀스 길이와 어휘 크기에 따른 메모리 사용을 줄일 수 있습니다.