Qwen-Image-2.0-RL 기술 보고서

기존 감독학습 기반의 확산 모델은 denoising 목적만 최적화되어 인간의 미적 선호와 프롬프트 충실도를 직접 반영하지 못했다. 본 논문은 RLHF와 VLM 기반의 복합 보상 체계를 도입해 텍스트-이미지 정렬, 미적 품질, 인물 정합성 같은 인간 중심의 품질 지표를 직접 최적화했다. 또한 작업별 RL 정책을 통합하는 on-policy distillation을 통해 다중 작업 성능 유지와 배포용 단일 모델 확보 문제를 해결했다.

감독학습으로 학습된 flow-matching 확산 모델은 denoising/flow matching 목표를 따르며 고품질 샘플을 생성하지만 인간의 미적 선호나 프롬프트 충실성 같은 주관적 척도는 손실 함수에 직접 포함되어 있지 않다. 이 때문에 텍스트-이미지 정렬, 질감·구성의 미학, 인물의 얼굴 정체성 같은 다차원 평가 기준을 직접 최적화할 필요가 발생했다. 이러한 배경에서 RLHF 패러다임을 확산 모델에 적용해 보상 신호로 인간 선호를 직접 반영하는 접근이 핵심 출발점이다.

비교적 결정론적 성격의 flow-matching 생성 과정은 전통적 다단계 MDP로의 확장에서 중요한 난제를 야기했다. 본 논문은 샘플 군(group) 수준의 보상 정규화와 흐름 기반의 확률적 샘플링 근사를 결합한 GRPO 계열의 알고리즘을 사용해 이 난제를 완화했다. 구체적으로 각 프롬프트에서 생성된 샘플들의 보상을 그룹 평균·표준편차로 정규화한 group-relative advantage를 계산해, 보상 스케일 불일치로 인한 편향을 제거하고 안정적인 정책 그레이디언트를 확보했다.

보상 신호의 설계 관점에서는 절대 점수(pointwise scoring)가 쌍비교(pairwise)보다 더 풍부한 감독 신호를 제공한다는 관찰이 핵심 직관이다. 절대 점수는 '얼마나 좋은가'를 캘리브레이션된 축으로 제공하므로 다중 보상(정렬, 미학, 초상 등)을 합산할 때 각 보상 차원이 갖는 값의 의미가 명확해진다. 마지막으로 작업별 RL로 얻은 교사 정책들을 학생이 자신의 궤적에서 교사의 속도 필드를 따라가도록 학습시키면 서로 상충하는 보상을 동시에 최적화하려다 발생하는 트레이드오프를 피하면서 단일 모델로 통합할 수 있다.

전체 파이프라인은 세 단계로 구성됐다: 보상 모델 구축, 작업별 RL 최적화, on-policy distillation을 통한 통합이다. 먼저 VLM을 pointwise 레이블(1~5)로 회귀 미세조정하고 chain-of-thought 맥락을 포함해 정렬·미학·초상 등 T2I 보상과 편집용 명령 수행·얼굴 정체성 보상을 학습했다. 보상 모델은 원격 API로 배포되어 비동기 방식으로 학습 루프와 분리되어 점수 수집 지연을 숨기도록 구현됐다.

정책 최적화는 Flow-GRPO 스타일의 클리핑된 서러게이트 목적함수와 중요도비를 시간축별로 계산하는 방식에 기반했다. 다만 결정론적 ODE 생성의 문제를 해결하기 위해 확률적 샘플링 근사를 도입했고, rollout 과정에서는 CFG를 적용하되 최적화시에는 무조건부 분기를 제외하는 하이브리드 CFG 전략을 사용했다. 또한 전체 동작에서는 40스텝 ODE 솔버를 사용하되 고노이즈 시점에 더 큰 비중을 두고 일부 시점만을 학습 대상으로 삼아 보상 해킹을 완화했다.

프롬프트 큐레이션은 각 프롬프트 그룹의 보상 범위(최대-최소)를 계산해 임계값 이하인 경우 학습에서 제외하는 방식으로 이루어졌다. 학습 데이터는 의미별 카테고리로 분류되어 카테고리별 보상 가중치가 달리 적용되며, 이는 포트레이트·타이포그래피 등 도메인별 품질 요구를 반영하기 위한 조치이다. 마지막으로 OPD 단계에서는 학생 모델이 자신의 경로에서 교사 속도를 모방하도록 LOPD = Σ‖vθ(xtn, tn, c) − vθ⋆(xtn, tn, c)‖^2 형태의 궤적 수준 손실로 학습했다.

자동화된 평가에서 Qwen-Image-2.0-RL은 Qwen-Image-Bench에서 전체 점수 57.84를 기록해 베이스 모델(55.23) 대비 +2.61 향상을 보였다. 구성 요소별로는 Creative Generation에서 6.72 포인트, Real-world Fidelity에서 4.29 포인트의 큰 개선이 관측됐다. 평가에 사용된 Q-Judger는 130K 이상의 사람 라벨 이미지-프롬프트 쌍으로 학습된 통합 판정 모델이다.

인간 선호 기반의 아레나 평가에서는 텍스트-투-이미지 Elo가 1115에서 1193으로 +78 상승했고, 이미지 편집 아레나는 1256에서 1349로 +93 상승했다. 하위 카테고리에서는 3D Modeling과 Photorealism에서 각각 +93, +91의 향상이 보고되어 구조적 일관성과 세부 묘사에서의 개선이 뚜렷했다. 질적 비교에서 Mix-RL과 OPD 통합 모델을 비교하면 Mix-RL이 베이스 대비 개선을 보였으나 OPD 기반 모델이 더 선명한 세부, 높은 프롬프트 충실성, 우수한 얼굴 정체성 보존을 달성했다.

추가 분석에서는 pointwise 보상 학습이 pairwise보다 시각적 품질과 텍스처 세부에서 우수한 결과를 유도했고, CFG를 rollout에서만 사용하는 하이브리드 전략이 학습 안정성과 사전지식 보존 사이의 적절한 균형을 제공함이 확인됐다.

모델 아키텍처는 Qwen-Image-2.0 기반의 flow-matching 계열 생성기와 Qwen 시리즈 VLM을 보상기용으로 미세조정한 구성으로 이루어졌다. 생성기는 40스텝 ODE 솔버를 사용해 역ODE를 풀며, 학생과 교사 모두 동일한 역ODE 해석을 통해 샘플 궤적을 생성했다. 보상기는 VLM으로 토큰 확률로 점수 집합 S={1,2,3,4,5}의 기대값을 계산(Rϕ(x,c)=Σ s·pϕ(s|x,c))하는 방식으로 구현됐다.

정책 최적화 측면에서는 Flow-GRPO 계열의 clipped surrogate objective가 사용됐다. 이 때 그룹화된 샘플 집합에서 중요도비 r(i)_t를 시간별로 계산하고 클리핑하여 안정화했으며, 다중 보상은 per-prompt-group 정규화를 통해 가중합으로 합성했다(A=Σ wk·(Rk−μk)/σk). CFG는 rollout 샘플링에만 적용해 보상 평가의 신뢰성을 확보하고, 정책 목적함수 계산에서는 CFG의 무조건부 분기를 제외해 최적화 안정성을 높였다.

On-Policy Distillation의 이론적 기반은 출력 분포의 W2 거리 상한을 속도 필드 오차의 시간적 적분으로 바인딩하는 결과에 기초한다. 따라서 학생은 자신의 경로 샘플 {xtn}에서 교사의 속도 vθ⋆(xtn, tn, c)에 대한 MSE를 최소화하도록 학습했고, 이산화된 N 시점 합으로 실무적 손실 LOPD를 구성했다. 다중 교사 환경에서는 배치별로 작업 유형에 맞는 교사를 동적으로 활성화해 GPU 메모리 사용을 제어했다.

훈련 실무에서는 비동기 보상 API와 백그라운드 스레드로 점수 수집 지연을 마스킹했고, 프롬프트 필터링은 그룹 내 보상 범위를 기준으로 유효한 프롬프트만 선택해 학습 효율을 개선했다. 또한 타임스텝 샘플링 전략은 고노이즈 시점을 중심으로 일부 시점만 최적화 대상으로 삼아 보상 해킹 위험을 줄였다.