cascade-pruning-distillation

대형 모델에서 작은 모델로 한 번에 압축하지 않고 중간 규모의 서브모델을 차례로 생성하면서 각 단계에서 프루닝과 교사 모델 기반 디스틸레이션을 반복하여 최종 소형 모델의 초기 성능을 높이고 학습 안정성을 확보하는 압축 파이프라인이다.