본문으로 건너뛰기

kl-loss

KL 손실

교사와 학생의 확률 분포 차이를 측정하는 손실로, 전체 어휘 대 시퀀스 그리드를 만들면 메모리 사용량이 어휘 크기×시퀀스 길이만큼 급증하므로 구현 방식이 학습 가능성에 큰 영향을 준다.