distillation

거대 모델(Teacher)의 지식을 작은 모델(Student)로 전이시키는 기법이다. 성능 손실을 최소화하면서 모델 크기를 줄여 자체 서버에서 저비용으로 운영할 수 있게 한다.