지도 학습 기반 지식 증류
교사 모델의 지식을 학생 모델에게 전달하는 학습 기법으로, 대규모 모델의 출력을 정답 레이블로 사용하여 소규모 모델을 학습시킨다. 효율적인 모델 경량화를 가능하게 하지만 교사 모델의 한계나 편향을 그대로 물려받을 수 있다는 단점이 있다.