Forward KL 증류
Forward KL 증류는 대상 모델의 온도 조정된 확률 분포 p~를 교사로 삼아 드래프트 분포 q~가 그 확률 질량을 포괄하도록 KL(p~ || q~)를 최소화하는 목적이다. 본 논문에서는 forward KL이 mode-seeking 성향의 reverse KL보다 트리 드래프팅에서 수용 길이(accepted length)와 end-to-end speedup 관점에서 우수함이 관찰되었다. 학습 손실은 온도 T_KD와 활성 위치 마스크로 정규화된 평균 forward KL로 구성된다.