본문으로 건너뛰기

multi-teacher-on-policy-distillation

다중 교사 온-정책 증류

여러 도메인별 전문가 모델의 지식을 하나의 학생 모델로 통합하는 학습 기법이다. 9개의 전문가 모델을 교사로 활용하여, 단일 모델이 일반, 에이전트, 코딩 등 다양한 작업에서 높은 성능을 발휘하도록 학습시킨다.