CoRT: 토큰 수준 루브릭 신용 재분배

루브릭 기반 보상은 응답 수준에서 다차원 판단을 제공하지만, 기존 GRPO 계열 파이프라인은 그 결과를 모든 토큰에 균일하게 적용해 어떤 토큰이 어떤 기준에 기여했는지 반영하지 못합니다. CoRT는 같은 생성 응답을 기준-제거 문맥으로 재평가해 토큰별 로그우도 대비를 계산하고, 이 대비를 응답 평균 정규화와 스케줄링으로 안전하게 가중치화하여 원래의 응답 이점을 토큰 단위로 재분배합니다. 이렇게 하면 검증기와 응답 수준 보상은 그대로 유지하면서도 토큰 수준의 크레딧 분배를 통해 학습 신호를 더 정확하게 전달할 수 있어 여러 벤치마크에서 평균 약 4.4 포인트 수준의 성능 향상이 관찰되었습니다.

정책은 같은 토큰 시퀀스에 대해 입력 문맥이 달라지면 각 토큰의 조건부 확률을 달리 계산합니다. CoRT는 루브릭을 포함한 문맥과 루브릭을 제거한 문맥에서 동일 응답의 토큰별 로그우도 차이 $\,\Delta_{i,t}=\ell^{+}_{i,t}-\ell^{-}_{i,t}\,$를 계산해 어느 토큰이 루브릭에 더 의존했는지를 측정합니다. 그런 다음 이 대비를 유한 범위로 변환하고 응답 평균으로 정규화해 응답 수준의 그룹 상대 이점을 토큰별로 재분배함으로써 정책 업데이트가 루브릭 의존 토큰에 더 많은 신호를 전달하도록 합니다.

CoRT 파이프라인은 먼저 표준 GRPO 루틴으로 응답별 보상 r_i와 그룹 상대 이점 $A_i=(r_i-\mu)/(\sigma+\epsilon_r)$를 계산합니다. 같은 샘플 응답에 대해 기준 포함 문맥에서 얻은 로그우도 $\ell^{+}_{i,t}$와 기준 제거 문맥에서 얻은 로그우도 $\ell^{-}_{i,t}$를 얻고 대비 $\Delta_{i,t}=\ell^{+}_{i,t}-\ell^{-}_{i,t}$를 계산합니다. 이 대비는 $s_{i,t}=\operatorname{sigmoid}(\tau(\Delta_{i,t}-b))-1/2$로 리플레이 마진 변환되어 $\tilde w_{i,t}=1+\eta\lambda_k s_{i,t}$로 임시 가중치가 만들어지며, 최종적으로 응답 평균으로 나누어 $w_{i,t}=\tilde w_{i,t}/\bar w_i$로 정규화합니다. 예를 들어 $\Delta=2,\tau=1,b=0$이면 $s\approx0.38$이고 $\eta=0.5,\lambda_k=1$일 때 $\tilde w\approx1.19$가 되어 정규화 후 토큰 가중치가 1보다 큰 값으로 조정됩니다. 이렇게 구성한 토큰별 가중치에 응답 이점 $A_i$를 곱해 토큰 단위 이점 $\widehat A_{i,t}=\operatorname{sg}(w_{i,t})A_i$를 만들고, PPO 스타일 클리핑 대체 손실에 대입해 정책을 업데이트합니다.

논문은 여러 모델(Qwen3-4B, Qwen2.5-7B, Qwen3-14B)과 두 가지 보상 그레뉼러리티(CSR, AON)에서 CoRT를 평가했습니다. 전체 비교에서 CoRT는 응답 수준 GRPO 대비 대다수의 설정에서 성능이 향상되었고, 논문이 보고하는 평균 이득은 약 4.4 퍼센트포인트입니다. RTT와 비교할 때 CoRT는 별도 토큰 판별기 학습 없이도 경쟁력 있는 결과를 보였고, DAPO 및 GSPO 같은 다른 정책 최적화 방식과 결합했을 때도 대체로 성능 향상을 유지했습니다. 다만 모델 규모와 보상 희소성에 따라 일부 지표에서 편차가 있으며, 예컨대 14B 모델의 AON 설정에서는 IFEval에서 GRPO에 뒤지는 사례가 보고되었습니다.

핵심 수식은 토큰 대비 $\Delta_{i,t}=\ell^{+}_{i,t}-\ell^{-}_{i,t}$와 리플레이 마진 변환 $s_{i,t}=\operatorname{sigmoid}(\tau(\Delta_{i,t}-b))-1/2$로 요약됩니다. 최종 임시 가중치는 $\tilde w_{i,t}=1+\eta\lambda_k s_{i,t}$이며 응답 평균으로 나누어 $w_{i,t}$를 얻습니다. 기본 하이퍼파라미터 설정은 $\eta=0.5$, 단위 온도 $\tau=1$, SmoothStep 램프 길이 100 스텝이며 램프가 끝나기 전에는 $\lambda_k$가 0에서 1로 점진적으로 증가합니다. 이 설정에서 가중치 활성화 전의 토큰 배수는 대략 (0.75,1.25) 범위에 놓입니다. 계산 오버헤드는 각 샘플 응답에 대해 기준 제거 문맥으로 한 번의 forward scoring 패스가 추가되는 정도이며, 토큰 생성 자체나 검증기 호출을 추가로 요구하지 않습니다. 실험 세팅은 배치 64, 샘플당 8 응답, actor lr=1e-6, rollout 온도 1.0, top-p 0.99 등 논문에 명시된 표준값을 따릅니다.

CoRT 신호는 기준이 토큰 로그우도에 실질적인 영향을 줄 때에만 강하게 나타납니다. 따라서 루브릭 기준의 내용이 원래 프롬프트와 중복되거나 기준 자체가 토큰 분포에 거의 영향을 주지 않으면 대비 값이 작아 영향력이 떨어집니다. 또한 응답 수준 보상 자체가 잡음이 심하면 토큰 재분배가 오히려 유해한 업데이트를 키울 수 있으며, 더 긴 대화 지평선이나 도구 호출을 포함한 장기적 크레딧 할당 문제에는 직접 확장하기 어렵습니다.