자기 세분화 증류
학생 모델이 유도한 음절 경계로 교사의 세그먼트 평균을 목표로 삼아 다른 기반 인코더(data2vec 2.0 등)를 점진적으로 맞춰가는 다단계 증류 프로세스이다. 각 단계에서 교사는 학생으로부터 복사되어 반복적으로 세분화 품질을 개선한다. 양질의 세그먼트가 모델 간 지식을 전달하는 수단으로 사용된다.