supervised-distillation
지도 학습 기반 지식 증류
교사 모델의 지식을 학생 모델에게 전달하는 학습 기법으로, 대규모 모델의 출력을 정답 레이블로 사용하여 소규모 모델을 학습시킨다. 효율적인 모델 경량화를 가능하게 하지만 교사 모델의 한계나 편향을 그대로 물려받을 수 있다는 단점이 있다.
지도 학습 기반 지식 증류
교사 모델의 지식을 학생 모델에게 전달하는 학습 기법으로, 대규모 모델의 출력을 정답 레이블로 사용하여 소규모 모델을 학습시킨다. 효율적인 모델 경량화를 가능하게 하지만 교사 모델의 한계나 편향을 그대로 물려받을 수 있다는 단점이 있다.
