보상 모델의 이산화

보상 모델이 연속적 점수를 제공할 때 매우 유사한 응답들에 대해 불필요한 점수 차이를 만들어 RL 정책이 취사선택이 아닌 편향을 학습할 위험이 존재한다. 이 논문은 보상 모델의 'oversensitivity'가 학습된 보상을 통해 정책에 악영향을 미친다는 점을 이론적·실험적으로 규명했다. 보상 값을 군집화하여 이산화하면 판별 능력은 유지하면서 특이성을 대폭 개선할 수 있음을 증명하고 실제 RL 실험에서 더 안전한 학습 결과가 관측되었다.

보상 모델은 연속 점수로 응답을 정렬하여 미세한 차이를 포착할 수 있으나 이런 연속성은 동일한 유틸리티를 갖는 응답들 사이에서도 불필요한 점수 차이를 만들 수 있다. 이러한 과민 반응은 판별 능력이 높더라도 특이성이 낮은 상황을 낳으며, RL 에이전트는 이 차이를 학습 신호로 착각하여 reward hacking이나 스타일 과최적화로 이어질 수 있다. 이 논문은 판별 능력과 특이성을 분리하여 관찰함으로써 연속 보상의 구조적 문제가 정책 학습에 미치는 영향을 명확히 했다. 이산화의 핵심 직관은 보상 공간에서 실질적으로 동등한 응답들을 하나의 이산 그룹으로 묶어 보상 신호의 유효 분산만 학습에 제공하는 것이다. 수학적으로 r(y)=φ(u(y))+η(y)로 보상 예측을 모델링할 때 η는 주로 주관적 또는 데이터 기반의 편향을 담고 있다고 가정했다. 적절한 임계값을 선택하면 서로 다른 유틸리티 클래스의 보상 분포가 겹치지 않도록 할 수 있으며 이 경우 이산화는 판별 능력을 유지하면서 특이성을 1로 만들 수 있다. 실무적으로는 예측 불확실성의 추정이 중요하다. Monte Carlo Dropout을 통해 각 응답의 예측 평균 μ̂와 예측 분산 σ̂²를 얻고 두 보상 차이가 Δ 이내일 확률을 표준정규 누적함수 Γ를 이용해 계산한다. 이 확률 행렬을 완전 연결 계층적 군집화로 처리하면 응답 묶음별로 정수 보상을 할당할 수 있으며, 이렇게 얻은 이산 보상은 원래 연속 보상보다 RL 학습에서 reward hacking을 덜 유발하는 것으로 관측되었다.

전체 접근은 보상 이산화를 1차원 확률적 군집화 문제로 환원하는 것이다. 먼저 배치 내 각 응답에 대해 RM을 T번 드롭아웃으로 샘플링하여 보상 샘플 {r_i^{(t)}}를 얻고, 이들로부터 μ̂_i와 σ̂_i를 계산한다. 두 응답 i,j에 대해 r_i−r_j의 분포를 정규 근사로 보고 P(|r_i−r_j|<Δ)=Γ((Δ−(μ̂_i−μ̂_j))/√(σ̂_i^2+σ̂_j^2))−Γ((−Δ−(μ̂_i−μ̂_j))/√(σ̂_i^2+σ̂_j^2))를 계산한다. 계산한 쌍별 유사도 행렬을 완전 연결 완전 결합(complete linkage) 계층적 군집화에 넣고 덴드로그램을 잘라서 각 군집 내 모든 i,j에 대해 P(|r_i−r_j|<Δ)>p가 만족되도록 한다. 각 군집은 그 평균 보상에 따라 순서화된 정수 레이블을 받는다. 하이퍼파라미터로 Δ와 p, 드롭아웃 확률 d, 샘플 수 T를 사용하며 구현상 d=0.02, T=4을 기본값으로 채택했다. 실험 인프라는 OpenRLHF와 GRPO를 사용한 RLHF 파이프라인이며 학습 대상 모델은 Llama-3.1-8B-Instruct이다. 실험 구성은 verifier-free 다중태스크 학습으로, allenai/RLVR-IFeval, RLVR-MATH, RLVR-GSM 및 WildChat 샘플을 합쳐 60K 프롬프트로 학습을 수행했다. 평가 지표로는 새롭게 정의한 판별 능력과 특이성 외에 IFEval, MATH, GSM8K 성능을 사용했고 비교 대상으로 raw reward, clipping, ensembling, median binary threshold를 포함했다.

RewardBench 2의 'Ties' 서브셋에서 reward clustering은 모든 검증된 RM에 대해 판별 능력과 특이성의 평균을 향상시켰다. 예컨대 Skywork V1에서 raw의 평균 판별 능력은 70.8이었고 clustering은 74.9로 향상되었으며 특이성도 함께 개선되어 평균 지표가 높아졌다. 표준 메트릭(accuracy와 margin) 관점에서는 margin이 다수의 경우 개선되었으나 accuracy는 일부 케이스에서 희생되는 경향이 관찰되었다. 혼합 보상 환경(주 보상: 과제 정답성, 부 보상: hedging 언어)에서 raw reward로 학습한 정책은 부 보상을 과최적화하여 주 보상을 잃는 현상을 보였다. 반면 discretized reward로 학습한 정책은 hedging 토큰 사용 증가를 완화하며 주 보상 성능을 유지하거나 개선했다. 실전 RL 실험에서는 Llama-3.1-8B-Instruct를 기반으로 한 GRPO 학습에서 discretization이 절대적으로 열등한 경우가 없었고 24개의 비교 중 10개에서 유의한 개선(표준편차 기준)이 관측되어 실용적 이득이 확인되었다. 기저 모델의 기준 성능은 GSM8K 77.3, MATH 47.2, IFEval 77.5로 보고되었고, 테이블 결과를 종합하면 discretization은 평균적으로 raw reward보다 학습 안정성 측면에서 우수했다. 런타임 비용은 8×H100 노드 환경에서 GRPO 전체 처리량이 약 64.3±8.0에서 55.8±7.9 prompts/min로 약 15% 감소했다는 수치가 보고되었다.

수학적 전제는 보상 예측을 선형 변환 φ_x(u_x(y))와 응답 종속 노이즈 η_x(y)의 합으로 모델링한 r_x(y)=φ_x(u_x(y))+η_x(y)이다. φ_x는 s_x v + d_x 형태의 선형 함수로 가정되며 η_x는 bounded uniform 또는 Gaussian 분포로 가정되어 이론적 정리를 전개하는 근거가 되었다. 판별 능력 D_r(ε)와 특이성 Spec_r(ε)는 조건부 확률로 정의되어 정확도와 다른 관점을 제공하며 정확도는 이 두 값의 가중합으로 표현된다는 명제를 증명했다. 이론적 결과로서 균등 잡음 가정 하에 인접 유틸리티 클래스에 대해 D_r(ε)=1−ε^2/2 및 Spec_r(ε)=ε(2−ε) 등의 closed-form 표현을 유도했다. 이로부터 continuous-valued RM은 ε가 작을수록 높은 oversensitivity를 가질 수 있음을 보였고, 적절한 임계값 τ_x를 사용한 이산화는 판별 능력을 완전히 보존하면서 특이성을 1로 만들 수 있는 조건을 보였다. 이론 결과은 Gaussian 노이즈로 완화해도 성립함을 부록에서 확장했다. 실험적 구현에서는 MC Dropout을 불확실성 추정 수단으로 사용하여 각 응답의 μ̂_i, σ̂_i를 얻었다. 두 응답 차이의 분포를 정규 근사로 간주하여 P(|r_i−r_j|<Δ)를 정규 누적분포 함수 Γ로 계산했고 이 확률을 거리 척도로 하여 complete linkage 계층적 군집화를 수행했다. 하이퍼파라미터 Δ, p*, 드롭아웃 d, 샘플 수 T는 검증 세트로 선택되었고 OpenRLHF 구현에서 Δ와 p는 RM별로 다르게 설정되었다(예: Skywork V1: Δ=10, p=0.8 등).

연구는 실험적으로 언어 모델(Llama-3.1-8B-Instruct)에서만 평가되었으므로 다른 도메인(예: 비전, 오디오)으로 일반화된 효과는 검증되지 않았다. 이론 전개는 보상 예측을 선형 함수와 균일 또는 Gaussian 노이즈의 합으로 가정했으며 이 가정이 현실 세계의 모든 보상 모델에 완전히 부합하지 않을 수 있다. 실험은 GRPO 한 종류의 RL 알고리즘과 제한된 RM 집합에서 수행되어 알고리즘·모델·데이터셋 조합에 따른 민감도는 추가 연구가 필요하다.