logits-distillation

교사 모델의 출력 확률 분포 p_T(·)와 학생 모델의 분포 p_H(·) 사이의 Kullback-Leibler divergence를 최소화해 학생 모델이 교사의 예측 분포를 모방하도록 하는 방법이다. Transformer-to-hybrid 변환에서 선택된 하이브리드 구조의 성능 회복을 위해 활용된다. distillation은 정답 라벨 외에 부드러운 분포 정보를 전달해 학습 효율을 높인다.