Top-K 증류
교사 분포의 상위 K개 토큰 확률에 대해서만 학생 분포를 정렬하거나 역방향 KL을 적용해 부분적 분포 정합을 수행하는 전략이다. 전체 어휘를 맞추는 것보다 연산 부담을 줄이면서 유의미한 후보군에 집중하는 방식이며 본 논문에서는 K=128로 사용되었다. 토큰별 신뢰도에 따라 Top-K와 full-vocabulary를 선택적으로 적용한다.