Negative Advantage

선택된 토큰의 로그확률을 낮추는 방향으로 정책을 업데이트하는 학습 신호입니다. 이 논문에서는 학생이 낮은 확률로 생성한 토큰에 음의 값을 부여해 가능성이 낮은 추론 경로를 억제하며, 고정값만 사용해도 OPD의 상당한 개선을 재현할 수 있음을 확인했습니다.