환경-토큰 교차 엔트로피
환경(observations) 토큰의 확률 분포에 대해 교차 엔트로피 손실을 계산하는 방식으로, 정책이 환경 응답을 정확히 예측하도록 학습 신호를 제공한다.
