업데이트 신호
프록시의 최적화 전후 토큰 확률의 로그비로 정의되는 토큰 수준의 상대적 개선값으로, 보상으로 유도된 방향성 정보(어떤 토큰을 장려 또는 억제할지)를 표현한다. 이 신호는 절대 분포가 아닌 방향성 정보이므로 다른 모델에 조정하여 전이할 수 있다.
