모든 루브릭이 똑같이 가르치지는 않는다: RLVR를 위한 정책 인식 루브릭 보상 POW3R

다차원 품질을 필요로 하는 RLVR에서 단일 스칼라 보상은 다양한 실패 모드를 은폐하고 특정 기준의 학습 가능성에 비례한 신호를 주지 못한다. 루브릭은 프롬프트별 여러 기준을 독립적으로 평가하지만, 전통적 합산 방식은 인간의 가중치가 최종 결과의 중요성과 현재 학습 신호의 유용성 둘 다를 나타낸다고 가정한다는 점에서 한계가 있다. POW3R은 루브릭 목표를 보존하면서 학습에 기여하는 기준에 집중하도록 within-category pressure를 재조정한다. 이를 통해 학습 신호의 분포를 넓히고, dead/saturated한 기준의 영향을 줄이며, 학습 효율과 최종 루브릭 점수를 함께 개선한다.

1. 다차원 루브릭의 인간 가중치(wj)가 최종 결과의 중요성에 대한 가이드 역할은 하지만, 현재 학습 신호로서의 유용성은 항상 같지 않다. 압축된 단일 점수로 합치는 경우, 일부 고가중치 항목은 rollout에서 구분점을 제공하지 못하여 gradient 신호를 제공합니다. 결국 고가중치가 항상 학습에 기여하는 것은 아니다. 2) POW3R는 각 항목의 rollout-contrast를 기준으로 가중치를 조정하되, 루브릭의 목표를 보존한다. 평가 카테고리 내에서의 가중치 분모를 고정하고, 각 항목의 judge verdicts의 분산과 pass율을 바탕으로 αj(t)를 업데이트한다. 3) 카테고리 내에서 가중치를 재배치해도 카테고리의 총 무게 합은 보존되며, 이를 통해 final answer의 질은 유지하되 학습 신호는 현재 정책이 구분할 수 있는 항목으로 집중된다. 4) 이 방식은 프롬프트 단일 점수로의 단순 합산이 가져오는 학습 비효율을 줄이고, 훈련 속도 및 모델의 두 가지 주요 지표(루브릭 보상 및 strict completion)에서 우수한 성과를 실현한다.

[입력 → 연산 과정] 정책: GRPO 기반 포스트 트레이닝; Group Relative Policy Optimization(GRPO) 실행; G=16, T=1.0, 최대 3584 tokens, KL 계수 β=0.1, PPO 클립 ε=0.2, gradient clip=0.5. [수식: 퍼 롤아웃 보상 매핑] R(o;q) 각 롤아웃 o에 대해 주어지고, group 내 평균과 표준편차 std(R)를 이용하여 A_hat_i,t를 계산한다. [수식: pow3r 동적 보상] t번째 epoch에서 w̃_j^(t) = w_j α_j^(t)로 정의하고, W̃_k^(t)(q) 합산 후 R_dyn(o;q) = 1/K_q ∑_k 1/W̃_k^(t)(q) ∑_j∈C_k(q) w̃_j sj(o,q)로 구성한다. [학습 신호 재가중] α_j^(t) = clip((1−λ) + λ ρ_j, α_min, α_max) 및 EMA 업데이트 및 재정규화로 카테고리 내에서 mass를 유지한다. [평가 및 트레이닝] judge로부터 criterion별 verdict를 얻고, 훈련과 held-out 평가에서 동일 시스템 프롬프트를 사용한다. POW3R은 dead/saturated 기준의 weight를 줄이고, contrastive 기준의 압력을 증가시켜 prompt 수준의 보상 분산을 넓힌다.

주요 결과는 다음과 같다. MM 데이터셋에서 Qwen3-VL-4B, Qwen3-VL-8B, Gemma-3-4B에 대해 POW3R dynamic이 각각 48.8, 51.6, 37.8의 rubric 점수와 20.2, 22.6, 10.3의 strict completion 점수를 달성하며, Base/Binary/Static scalar/Category-balanced 대비 모두 우수하다. HealthBench 영어 테스트 세트에서도 POW3R dynamic이 Overall 점수에서 가장 높은 32.7점을 기록했고, Qwen3-4B에서 46.0 대비 46.0의 baseline 대비 우수한 개선을 보였다. 또한 POW3R는 동일한 GRPO 설정에서 2.5–4×의 학습 속도 향상을 보였으며, 외부 벤치마크에서도 24/30 사례에서 최상위를 차지하면서 VLM 벤치마크 점수도 유지했다. Figure 4는 두 객체 지배(dominance) 관점에서 POW3R가 모든 base-policy 라인에서 최상위임을 보여주고, Figure 5-7은 category별 신호, 학습 진척도, 및 단일 프롬프트에서의 개선이 일관되게 나타남을 시각화한다.

GRPO를 기반으로 한 다중 기준 보상 구조에서, 각 기준 j의 pass 비율 pj와 분산 vj=pj(1−pj)를 사용해 α_j^(t) 업데이트를 수행한다. 카테고리 k에 대해 W̃_k^(t)(q) = ∑{j∈C_k(q)} w_j α_j^(t)으로 가중치를 재계산하고, R_dyn(o;q) = (1/K_q) ∑{k: C_k(q)≠∅} (1/W̃_k^(t)(q)) ∑_{j∈C_k(q)} w_j α_j^(t) s_j(o,q)로 최종 보상을 구성한다. 학습은 GRPO의 PPO 기반 업데이트를 사용하며, 훈련 데이터는 MM/HB로 구성된다. 평가 시에는 held-out judge(GPT-5.4-mini)로 재평가한다.