token-based-distillation

교사 모델의 토큰별 예측 분포를 학생 모델이 학습하도록 하는 지식 증류 방식으로, 입력 토큰 단위의 소프트 타깃을 사용해 학생이 내부 확률 구조를 모사하게 한다. 토큰 수준의 손실을 최소화함으로써 시퀀스 라벨링 성능을 유지하면서 모델 크기와 계산비용을 줄이는 데 유리하다. 특히 실시간 추론과 비용 제약이 있는 서비스에 적합하다.