trajectory-level-kl

행동 궤적 전체에 대해 교사 정책과 학생 정책의 확률 분포 차이를 누적하여 계산하는 손실로서 시퀀스 초기 토큰들이 전체 손실에서 큰 비중을 차지하면 심층 의사결정(turn)에 대한 신호가 약해지는 문제가 발생한다.