self-distillation
자기 증류
모델이 자기 자신의 예측 결과나 중간 상태를 학습 데이터로 삼아 성능을 개선하는 기법입니다. 외부의 거대 모델 없이도 모델 내부의 지식을 정제하여 효율성을 높이거나 지속적인 학습을 가능하게 합니다.
고급
자기 증류
모델이 자기 자신의 예측 결과나 중간 상태를 학습 데이터로 삼아 성능을 개선하는 기법입니다. 외부의 거대 모델 없이도 모델 내부의 지식을 정제하여 효율성을 높이거나 지속적인 학습을 가능하게 합니다.