CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization

RLVR에서 모든 토큰에 동일한 보상 신호를 주는 문제를 해결한다. CEPO는 올바른 답(r+)과 잘못된 답(r−)를 구별해 토큰 단위의 대조 신호를 계산하고, 결정적인 토큰에만 큰 신호를 부여한다. 그 결과 학습 속도와 샘플 효율이 개선되며 정보 누수 문제를 방지한다.

단계별 로깅된 보상을 통해 어느 토큰이 결정적 추론에 기여하는지 판단하기 어렵다. RLSD는 단일 참조 신호로 인해 기여도 구분에 한계가 있다. CEPO는 P+T(yt)/P−T(yt) 대신 P+T(yt)/P−T(yt)를 사용하고 P−T(yt)를 공통 denominator로 삼아, r+를 강화하고 r−를 약화시키는 양방향 신호를 계산한다. 이때 ∆CEt = log P+T(yt) − log P−T(yt)로 정의되는 대조적 증거 델타를 통해 결정 토큰에 큰 가중치를 부여하고, filler 토큰은 near-unity 가중치를 갖게 한다. 이로써 토큰 수준의 gradient가 정보 누수 없이 샘플링된 토큰에서만 영향을 받도록 한다.

전체 접근 방식은 GRPO 기반 PPO 학습 루프를 유지하되, 토큰 t마다 CEPO 비율과 대조 증거 델타를 이용해 Ât를 수정한다. PS(yt), P+T(yt), P−T(yt) 세 분포를 정의하고, ∆CEt = sg(log P+T(yt) − log P−T(yt))를 계산한다. wCEt = exp(sign(A) · ∆CEt), Ât = At · [(1−λ) + λ · clip(wCEt, 1−εw, 1+εw)]. 이후 PPO의 clipped surrogate를 사용해 θ를 업데이트한다. G 롤아웃 중 Correct(G+)와 Wrong(G−)를 구분하고, Twarm 동안 λ를 감소시키며 εw를 적정하게 설정한다. P−T = PS일 때 CEPO는 RLSD와 동일하게 수렴한다.

주요 벤치마크에서 CEPO가 GRPO를 능가한다. 2B 모델에서 CEPO의 평균 정확도는 43.43%로 GRPO의 41.17%를 넘는다. 4B 모델에서 CEPO는 60.56%로 GRPO의 57.43%를 상회한다. OPSD/SDPO는 일부 벤치마크에서 기계적 학습 이상으로 하락하는 경향을 보였으며, CEPO는 어휘 전역 합이 포함되지 않으므로 정보 누수 없이 신호를 전달한다. Ablation 결과에서 Actor-Policy를 교사로 사용할 때 가장 큰 이득이 나타났고, 25스텝의 warmup + linear decay의 λ 스케줄이 GRPO 대비 가장 안정적인 이득을 준다. 학습 시간은 50스텝 기준 약 6시간 내외로 GRPO 대비 약간의 추가 오버헤드를 가진다. CEPO의 토큰-수준 대조 델타 분포는 학습이 진행될수록 Positive delta 비중이 증가하고 Negative delta 비중은 감소한다.

구조: πθ, r+ (정답 교사), r− (거부된 롤아웃의 정답)로 구성된 토큰-레벨 분포 PS, P+T, P−T를 정의한다. ∆CEt = sg(log P+T(yt) − log P−T(yt))를 통해 대조 증거 델타를 계산하고, wCEt = exp(sign(A) · ∆CEt), Ât = A(t) · [(1−λ) + λ · clip(wCEt, 1−εw, 1+εw)]를 얻는다. Ât를 PPO 클립 surrogate에 대입해 θ를 업데이트한다. RLSD의 containment를 만족하며, P−T = PS일 때 CEPO는 RLSD로 수렴한다. Proposition 1은 A>0에서 PS(yt) > P−T(yt)일 때 wCEt > wRLSDt가 성립한다는 것을 보이고, 반대 경우도 동일하게 성립한다. 이로써 결정적 토큰에서만 크레딧이 강화되고 filler는 중립적으로 유지된다. Twarm은 25스텝, λ은 0에서 0으로 선형 감소, εw는 0.5를 기본값으로 설정한다.