self-supervised-distillation
자기 지도 증류
모델 자신이 생성한 결과물을 정답(Teacher)으로 삼아 모델의 특정 부분(Student)을 학습시키는 방식이다. 별도의 사람이 라벨링한 데이터 없이도 모델 내부의 지식을 전이하거나 특정 구조에 적응시킬 수 있다.
중급
자기 지도 증류
모델 자신이 생성한 결과물을 정답(Teacher)으로 삼아 모델의 특정 부분(Student)을 학습시키는 방식이다. 별도의 사람이 라벨링한 데이터 없이도 모델 내부의 지식을 전이하거나 특정 구조에 적응시킬 수 있다.