Trajectory-level KL
궤적 수준 KL 손실
행동 궤적 전체에 대해 교사 정책과 학생 정책의 확률 분포 차이를 누적하여 계산하는 손실로서 시퀀스 초기 토큰들이 전체 손실에서 큰 비중을 차지하면 심층 의사결정(turn)에 대한 신호가 약해지는 문제가 발생한다.
궤적 수준 KL 손실
행동 궤적 전체에 대해 교사 정책과 학생 정책의 확률 분포 차이를 누적하여 계산하는 손실로서 시퀀스 초기 토큰들이 전체 손실에서 큰 비중을 차지하면 심층 의사결정(turn)에 대한 신호가 약해지는 문제가 발생한다.
