자기 증류
모델이 자기 자신의 예측 결과나 중간 상태를 학습 데이터로 삼아 성능을 개선하는 기법입니다. 외부의 거대 모델 없이도 모델 내부의 지식을 정제하여 효율성을 높이거나 지속적인 학습을 가능하게 합니다.