Auto-Rubric-as-Reward: 암시적 선호에서 명시적 다중모달 생성 기준으로의 전환과 Rubric Policy Optimization을 통한 학습

다중모달 생성 모델의 선호 정렬은 다차원적이고 구성적이다. 기존 RLHF는 이러한 구조를 단일 스칼라 점수나 이진 비교로 축소해, 평가의 해석 가능성과 학습 안정성을 저하시킨다. ARR은 암시적 선호를 각 축별로 verifiable한 루브릭으로 분해해 제시하고, 이를 바탕으로 루브릭-기반 보상으로 학습을 수행함으로써 보상의 해석 가능성과 데이터 효율성을 높이며, reward hacking의 취약점을 줄인다. 또한 ARR은 zero-shot 및 few-shot 조건에서도 강건성을 유지하고, RPO를 통해 루브릭으로 구성된 보상 신호를 정책 경사하강에 직접 반영한다는 점에서 이론적·실용적 시사점이 크다.

아이디어 1) 인간의 선호는 다차원적이고 구성적이며, 이를 단일 스칼라로 환원하면 중요한 차원을 놓치게 된다. 아이디어 2) ARR은 암시적 선호를 인스턴스별로 해석 가능한 독립 축으로 분해하여, 각 축을 verifiable한 rubric으로 표현한다. 아이디어 3) 루브릭은 평가와 학습의 경계에서 해석 가능하고 데이터 효율적인 피드백을 제공하며, 편향(예: 위치 편향)을 감소시키는 역할을 한다. 아이디어 4) RPO는 이 루브릭으로 형성된 이진 선호를 직접 정책 업데이트에 반영하여, 보상 모델 학습 없이도 다차원 기준에 맞춘 위험 관리와 학습 안정성을 달성한다.

• 단락 1: ARR의 전반적 구성과 목표. 암시적 선호를 루브릭으로 외부화하고, 평가 도구로 VLM judge를 사용하되 파라미터 업데이트 없이 작동하도록 설계한다. - 단락 2: Rubric Generation Pipeline. D = {(xi, y+i, y−i)}에 대해 Mgen이 rubric ri를 생성하고, Mverify가 이 rubric의 정합성을 확인한다. vi가 true일 때 DR에 포함하고, Tmax까지 refinement를 수행한다. - 단락 3: Hierarchical Structuring. DR을 Mstruct로 계층화하여 Rstructured를 만든다. - 단락 4: Rubric to Reward. r(x,y;y′) = +λ if Mθ(x,y,y′,R) 선호, -γ otherwise로 보상화한다. - 단락 5: Rubric Policy Optimization. LRPO를 PPO-clip 및 KL 정규화와 함께 사용하여 πθ를 업데이트한다. - 단락 6: 학습 안정성 및 온라인 특성. judge는 frozen 상태로 유지되고 RUBRIC은 매 프롬프트마다 재생성되어 분포 변화에 견고하다.

주요 벤치마크에서 ARR은 기존 평가자 대비 정확도 향상을 보인다. VLM-as-Judge에서 Qwen3-VL-8B+ARR은 70.2(±0.2)로 67.2에서 3.0p 상승, GPT-5+ARR은 76.1(±0.2)으로 72.4에서 3.7p 상승, Gemini 3.1 Pro+ARR은 78.3(±0.1)으로 76.6에서 1.7p 상승했다. GenEval, DPG-Bench, TIIF, UniGenBench++의 Short/Long 및 GEdit-Bench, ImgEdit에서 ARR-RPO 변형이 Baseline 대비 성능 향상을 보였다. ARR은 zero-shot 및 cross-model rubric transfer에서도 강건성을 유지하며, rubric cardinality를 늘리면 평가 정확도가 점진적으로 증가한다(예: K=1에서 69.8%에서 K=20에서 74.4%). 이로써 내용의 핵심은 지식의 부족이 아니라 factorized interface의 부재임을 뒷받침한다.

아키텍처: ARR는 생성기(VLM)와 Verifier, Structurer로 구성된 3단계 파이프라인으로 Rubric을 생성하고, Verifier로 루브릭의 정합성을 확인한다. 이후 DR을 Hierarchical Structuring으로 Rstructured로 변환한다. 학습-가치화: r(x,y;y′)=+λ 또는 -γ의 이진 보상으로서, per-step reward가 생성 타임스텝에 균등 분배된다. 학습 알고리즘: LRPO는 PPO-clip과 KL 정규화를 적용한 online policy gradient 방식이다. 평가 방식: 루브릭 조건부 Judge(Mθ)는 x과 y+, y−를 받아 선호를 이진 판단으로 출력한다. 데이터: D는 ShareGPT-Image-데이터셋으로 구성되며, 100쌍 수준의 루브릭 생성이 가능하다. Ablation: 루브릭 수(K) 증가, Cross-Model Rubric Transfer, Zero-shot ARR의 편향 감소 효과를 확인한다.