forward-kl

교사 분포 q을 기준으로 KL을 계산하여 교사가 높은 확률을 준 행동에 더 큰 영향을 주는 발산이다. 교사 중심의 가중치 덕분에 낡은(older) 학생 샘플을 재사용할 때 캐시된 교사 점수만으로도 안정적으로 기대값을 근사할 수 있다. 본문에서는 staleness에 대해 더 강인한 특성을 보였다.