본문으로 건너뛰기

Student Reference KL Loss

학생 기준 KL 손실

학습 중인 학생 정책이 학습 시작 시점의 초기 학생 정책에서 지나치게 멀어지지 않도록 제한하는 정규화 항입니다. 교사의 긴 추론 분포를 따라가면서도 학생의 원래 종료 능력과 일반 능력을 보존해 응답 길이 폭증과 잘림을 줄이는 역할을 합니다.