Teacher–Student Distillation
교사-학생 증류
큰 교사 모델의 출력을 정답처럼 사용해 작은 학생 모델이 동일한 입력-출력 행동을 재현하도록 학습하는 방식이다. 이 글의 평가는 4B 학생이 Qwen2.5-72B-Instruct의 출력을 얼마나 일치시키는지 측정했으며, 교사의 불일치도 학생 성능 상한을 낮췄다.
교사-학생 증류
큰 교사 모델의 출력을 정답처럼 사용해 작은 학생 모델이 동일한 입력-출력 행동을 재현하도록 학습하는 방식이다. 이 글의 평가는 4B 학생이 Qwen2.5-72B-Instruct의 출력을 얼마나 일치시키는지 측정했으며, 교사의 불일치도 학생 성능 상한을 낮췄다.
