AutoRubric-T2I: 텍스트-이미지 정합성을 위한 강건한 규칙 기반 보상 모델

기존의 스칼라 보상 모델은 다차원 인간 선호를 단일 점수로 압축해 보상 해킹에 취약하다. 이 논문은 자동으로 루브릭을 생성·선택하고 VLM 판단에 루브릭 점수의 가중합을 적용하여 인간 선호를 더 정밀하고 해석 가능하게 반영한다. 적은 데이터로도 강력한 보상 신호를 얻고, 하위 작업에서 생성 품질을 개선한다.

단계별 요약: (1) 문제 정의: scalar 보상 모델은 다차원 인간 선호를 하나의 점수로 압축해 상충되는 평가 기준을 왜곡할 수 있다. (2) 해결 원리: 무한 차원의 루브릭 공간 J에서 루브릭 집합 R과 가중치 w를 학습하는 문제를 ∥w∥1 규제 하에 해결하고, 실패 사례에서 새로운 루브릭 후보를 지속적으로 추가한다. (3) 달라지는 점: 루브릭의 가중합으로 보상 신호를 구성하므로 해석 가능성과 데이터 효율이 향상되고, RL 파이프라인에서 더 강건한 성능을 얻는다.

4.1 형식화: 루브릭 r_j는 자연어 프롬프트로 표현되며, VLM-judge s(r_j, x, y) ∈ [0,1]는 Yes 토큰의 확률이다. s_R,w(x,y) = Σ_j w_j s(r_j, x, y) 이고, (x, y_a, y_b, z) 페어에 대해 ∑_i log σ(z_i [s_R,w(x_i, y_i_a) − s_R,w(x_i, y_i_b)])를 최소화한다. R은 무한 차원이고, 이를 ℓ1 규제: min_w λ||w||_1 + Σ_i log σ(z_i Σ_j w_j Δs_j^ (i))로 근사한다. 학습은 블록-좌표 하강으로 Rt에 후보 rubrics를 추가하고, Top-N 긍정 가중치를 가진 rubrics를 남긴다. (패턴: 입력 x, y에 대해 Δs_j를 계산 → 로지스틱 손실 계산 → 가중치 업데이트 → 불필요 rubrics 제거). 4.2 구현 상세: Seed Rubric 생성(R0)은 다양성-의식한 seed 선택(프롬프트 다양성 + 예측 여유 차), CoT 기반 VLM으로 루브릭 후보를 생성하고, 이후 Rt+1에 추가한다. Hard-pair mining은 잘못된 순위를 유도하는 페어를 식별하고, 3단계(진단 → 규칙 추출 → 규칙 병합)를 통해 새로운 rubrics를 생성한다. 학습 루프는 10라운드(R)로 구성하고 Top-N=20, Hard-pairs=16을 사용한다. 4.2.1 Seed Data 및 초기 Rubric 생성: 분포 다양성 확보를 위한 클러스터링 기반 프롬프트 다양성 확보. 4.2.2 Working-Set Scoring: Δs_j를 피처로 삼아 ℓ1 로지스틱 회귀를 수행하고 w_j>0인 Top-N 루브릭을 Retained로 선택한다. 4.2.3 Curriculum-Bucketed Hard-Pair Mining: 작은 마진/큰 마진/고보상 잘못된 페어를 3버켓으로 구분해 라운드별 비율 조정. 4.2.4 VLM-driven Rubric Generation: Failures의 진단에서 새로운 루브릭을 추출하고 Rt+1에 추가.

주요 벤치마크에서 AutoRubric-T2I의 성능 향상이 관찰된다. MMRB2(Out-of-domain)에서 AutoRubric-T2I가 62.5%(HPSv3 학습 루브릭으로 학습) 및 PickScore에서 63.2%를 달성하며 기존 AutoRule/AutoRubric 및 HPSv3 대비 상회한다. In-domain에서도 Qwen3-VL-8B/ Gemini-3-Flash의 점수가 각각 63.2%/70.3% 등으로 올라간다. TIIF에서 Short 프롬프트 기준은 65.3%에서 71.6%(HPSv3)로, Long 프롬프트 기준은 62.7%에서 67.9%로 상승한다. PickScore 기반으로는 Short 70.8%/Long 69.0% 수준에 도달한다. UniGenBench++의 경우 Short 프롬프트에서 61.0%에서 62.7%로, Long 프롬프트에서 64.0%에서 66.9%로 개선되며, PickScore 기반은 각각 62.4%/67.7%까지 상승한다. ablation 연구에서 cluster 초기화가 MMRB2의 성능을 62.4–62.5% 수준으로 끌어올리는 등 루브릭 공간의 초기 구성과 하드-페어 refinement의 효과를 확인한다. 학습 다이나믹스는 Figure 3에서 훈련 신호가 안정적으로 증가하고, 보상 표준편차는 비교적 안정적으로 유지되며, 테스트 보상도 증가하는 경향을 보인다. 인간 평가에서는 4-way 비교에서 AutoRubric-T2I가 선택률 44.8%를 달성해 무작위 대비 유의하게 높다(p < 0.001). RL 기반 downstream 실험에서 Flow-GRPO와 결합 시, 루브릭 보상은 스칼라 보상보다 더 정밀하고 해석 가능한 피드백을 제공한다. 학습 비용은 루브릭 refinement가 2–4시간으로 보고되며, 전체 평균은 2–4시간으로 요약된다. 5.3 Downstream T2I RL: TIIF에서 HPSv3 조건 하 Short 프롬프트는 65.3%→71.6%, Long 프롬프트는 62.7%→67.9%; PickScore 기준 Short 70.8%, Long 69.0%로 상향. UniGenBench++도 Short 62.7%, Long 66.9%로 향상되며, PickScore 기준은 Short 62.4%, Long 67.7%로 상승.

아키텍처: Rubric r_j의 무한 차원 공간을 가정하고, s(r_j, x, y) ∈ [0,1]로 VLM-judge 점수를 얻는다. s_R,w(x,y) = Σ_j w_j s(r_j, x, y)로 최종 보상을 구성한다. 학습 데이터 Dtrain의 i번째 페어에서 Δs_j^(i) = s(r_j, x_i, y_i^a) − s(r_j, x_i, y_i^b)로 특징을 구성하고, 로지스틱 손실 L = Σ_i log σ(z_i Σ_j w_j Δs_j^(i))를 최소화한다. λ||w||_1로 희소화를 유도하고 Top-N rubrics를 유지한다. Seed Rubric 생성: 다양성-의식한 샘플링과 CoT 기반 VLM로부터 초기 rubrics를 추출한다. Hard-pair mining: 잘못 정렬된 페어를 Curriculum Buckets로 세분화하고 라운드마다 16개의 하드 페어를 sampling한다. Rubric 확장: 하드 페어 진단에서 새 rubrics를 생성하고 Rt+1 = Rt_retained ∪ Rt_new로 확장한다. RL 적용: rAutoRubric(x, p) = Σ_j w_j P_VLM(YES | x, p, ρ_j)로 정의하고 Flow-GRPO의 보상으로 사용한다. 하이퍼파라미터: R=10, Top-N=20, Hard-pairs=16, 평가 주기 25스텝, Backbones: SD3.5-Medium, LoRA, 학습률 3e-4, K=24 롤아웃, 512×512 해상도, 4× NVIDIA A6000로 2–4시간 소요.