AlphaGRPO: Decompositional Verifiable Reward를 통한 UMM에서 자가 반영형 다중모달 생성 강화

Unified Multimodal Models(UMMs)가 다양한 입력-출력 인터랙션을 하나의 모델로 처리하는 반면, 현실 데이터의 다양성으로 인해 보상 신호가 불안정하다. AlphaGRPO는 GRPO를 AR-Diffusion 기반 UMMS에 적용하고, Decompositional Verifiable Reward(DVReward)를 통해 구체적이고 해석 가능한 피드백을 제공함으로써 학습 안정성과 일반화 성능을 크게 향상시킨다.

단계적 요약

1. 기저 개념: Unified Multimodal Models는 텍스트-이미지 생성을 하나의 모델에서 처리하지만, 강건한 보상 신호 없이 RL을 적용하면 일반화가 제한될 수 있다. GRPO는 학습 중 크고 작은 샘플 그룹의 보상을 이용해 정책을 업데이트하는 방식으로, PPO의 크리틱 필요성을 제거한다.
2. 해결 원리: AlphaGRPO는 학습을 텍스트 생성(Reasoning)과 이미지 생성(Flow) 두 파트의 unified trajectory τ=(y, z1→z0)로 구성하고, 두 파트를 동시 최적화한다. y는 시각 구성을 위한 계획으로 작용하고, z는 이미지 생성을 이끈다. 그룹 보상은 ri의 평균-표준편차 정규화(Âi,t)와 KL 제약(DKL)을 통해 계산되며, 두 모듈의 이득을 공유한다.
3. DVReward의 역할: DVReward는 사용자의 의도를 atomic하게 세분화하여 신뢰 가능한 보상을 산출한다. 먼저 semantic 질문 Qsem과 quality 질문 Qqua를 생성하고, verifier(V)인 MLLM(Qwen3VL-30B-A3B 등)을 이용해 각 질문에 대한 확률 기반 점수(PYes/(PYes+PNo))를 구한다. 최종 보상은 v_sem과 v_qua의 기하평균으로 계산한다.
4. 학습 안정성 보장: False-Positive Rectification(FPR)을 도입해 개선이 없으면 보상을 최저값으로 고정해 무해한 신호를 제거한다.
5. 일반화와 효율성: RT2I와 SRR 모두에 적용 가능하고, DVReward를 통해 real-world 벤치마크에서 안정적 개선이 확인되며, asynchronous reward serving으로 온라인 프로세스를 효율화한다.

1. Unified Trajectory 구성: τ=(y, zi)로 구성된 단일 프레임워크를 도입한다. y는 autoregressive reasoning 텍스트, zi는 diffusion 경로의 이미지 토큰이다. 2) GRPO 학습 목표: J(θ)=Eπold[ (1/G)∑i (J_AR_i + J_Flow_i) ] 형태의 SURROGATE를 구성하고, 각 항목은 LAR/LFlow의 클리핑 손실과 KL 제약으로 구성한다. 3) False-Positive Rectification(FPR): r(zi) ≤ r(zinit)인 경우 해당 traj의 이득을 최소값으로 강제한다. 4) Decompositional Verifiable Reward(DVReward): Qsem/Qqua 생성-필터링-확률 기반 점수로 r(z) 산출. 5) Training Data Construction: Primitive-to-Prompt 접근으로 TIIF-Bench 39개 구성 과제에서 prompts 수집, 19,500 training prompts 및 1,024 test prompts 생성. 6) Reward Serving: SGLang 기반 비동기 reward 서버를 다중 노드로 배치하고 샘플별 보상을 병렬 처리한다. 7) 구현 세부: Bagel 백본에 LoRA(r=32, α=64), 64 GPU(A100) 환경에서 380 step, 512 해상도, CFG(Reasoning Text-to-Image: 4.0, Self-Reflective Refinement: 텍스트 4.0, 이미지 2.0). 8) 평가 프로토콜: GenEval, TIIF-Bench, DPG-Bench, WISE 등에서 일반화 평가를 수행하며, GEdit 벤치마크의 에디팅 성능도 측정한다.

주요 벤치마크에서의 성능 향상 가능성을 확인했다. TIIF-Bench, GenEval, DPGBench, GEdit에서 BAGEL 대비 일관된 개선을 보였고, inference-time SRR 적용 시 TIIF-Bench Short에서 최대 83.9%까지 향상되며 Bagel 대비 5.8% 향상이다. GEdit 벤치에서의 전체 점수는 7.08로, BAGEL 대비 0.52 포인트 개선이다. 1K real-user prompts에서 AestheticScore, CLIPScore, PickScore가 각각 5.9624, 0.9102, 0.8246으로 상승했다. DVReward는 VIEScore, PickScore를 능가하는 보상 신호로 확인되었다. 또한 DVReward의 두 가지 보상 구성요소(Semantic Alignment, Perceptual Quality) 조합은 TIIF-Bench와 GenEval에서 일관된 개선을 보였다. Inf. SRR를 적용한 경우 512 해상도에서 1024 해상도 대비 추가 이득을 달성했다.

:[{

A.1 한계 및 향후 과제에 명시된 바와 같이, BAGEL 기반 모델은 512 해상도에서 노이즈 여부 및 예측되지 않는 추론 패턴을 보일 수 있다. 고정된 해상도에서의 노이즈 개선 및 안정성 확보를 위한 Reinforcement Fine-Tuning(RFT)과 일관성 보상 도입이 필요하다. 또한 DVReward는 다수의 외부 MLLM 추론이 필요하여 온라인 추론 딜레이가 증가할 수 있으며, 일부 경우에는 추론 데이터의 품질에 따라 보상 신호의 편향이 나타날 수 있다. 학습 대규모 프롬프트 세트와_reward_server의 분산 운영으로 효율성을 개선하였으나, 여전히 다수의 GPU와 고비용 인프라가 요구된다.