RationalRewards: 학습 및 테스트 시점 모두에서 시각적 생성을 확장하는 추론 기반 보상 모델

기존 이미지 생성 보상 모델은 결과물에 대해 단순한 점수만 부여하여 모델이 왜 잘못되었는지 파악하기 어려웠다. 이 논문은 보상 모델이 점수를 매기기 전 구체적인 비평(Rationale)을 생성하게 함으로써, 학습 시에는 정밀한 피드백을 제공하고 테스트 시에는 프롬프트를 스스로 수정하여 생성 품질을 획기적으로 높인다.

기존의 보상 모델은 인간의 복잡한 판단을 단일 스칼라(Scalar) 점수로 압축한다. 이는 Gradient Descent 과정에서 모델이 실제 품질 개선 대신 점수만 높이는 '보상 해킹(Reward Hacking)'에 빠지게 만드는 원인이 된다. 마치 학생이 문제의 원리를 이해하지 못한 채 정답 번호만 맞추려다 오답에 빠지는 것과 유사한 한계가 존재한다.

RationalRewards는 점수를 내기 전 '왜 이 이미지가 좋은지/나쁜지'를 텍스트로 먼저 추론하도록 강제한다. 이는 딥러닝의 Chain-of-Thought 개념을 보상 모델에 이식한 것으로, 모델이 텍스트 충실도, 물리적 품질 등 다차원적인 기준을 근거로 점수를 산출하게 만든다. 결과적으로 보상 신호에 논리적 근거가 담기게 되어 학습 과정이 훨씬 안정화된다.

특히 테스트 시점(Inference)에서 이 비평 능력을 활용해 '생성-비평-수정' 루프를 돌린다. 모델이 생성된 이미지의 결함을 스스로 찾아내고 이를 해결할 수 있는 더 구체적인 프롬프트로 자동 수정함으로써, 추가적인 학습 없이도 기존 생성 모델의 잠재된 성능을 최대한 끌어올릴 수 있게 된다.

PARROT(Preference-Anchored Rationalization)이라는 3단계 파이프라인을 통해 학습한다. 1단계(Rationale Generation)에서는 교사 VLM(Qwen3-VL-32B)이 정답 선호도 레이블을 힌트로 받아 '왜 A가 B보다 나은지'에 대한 비평을 생성한다. [입력: 이미지 쌍, 정답 레이블 → 연산: 조건부 텍스트 생성 → 출력: 근거가 포함된 비평] 과정을 거친다.

2단계(Causal Consistency Check)에서는 생성된 비평의 유효성을 검증한다. 교사 모델에게 정답 레이블 없이 비평 텍스트만 주고 다시 선호도를 예측하게 하여, 비평만으로 정답을 맞출 수 있는 일관된 데이터만 필터링한다. [입력: 비평 텍스트 → 연산: 선호도 재예측 → 출력: 일치 여부]를 통해 할루시네이션을 제거한다.

3단계(Foresight Learning)에서는 필터링된 고품질 비평 데이터를 사용하여 학생 모델(8B)을 지도 학습(SFT)한다. 이때 학생 모델은 정답 레이블 없이 이미지와 프롬프트만 보고 비평과 점수를 동시에 예측하도록 학습된다. [입력: 이미지, 프롬프트 → 연산: SFT → 출력: 비평 및 다차원 점수]를 통해 독립적인 보상 모델이 완성된다.

최종 모델은 테스트 시점에 Generate-Critique-Refine 루프를 실행한다. 생성된 이미지에 대해 4가지 차원(Text Faithfulness, Image Faithfulness, Physical Quality, Text Rendering)으로 비평하고, 특정 점수가 임계값(3.0) 미만일 경우 프롬프트를 수정하여 재생성한다.

RationalRewards(8B)는 MMRB2, GenAI-Bench 등 주요 벤치마크에서 기존 오픈소스 스칼라 보상 모델들을 큰 차이로 앞질렀다. 특히 GenAI-Bench(Edit)에서 80.1점을 기록하며 Qwen3-VL-32B(76.3점)보다 높은 성능을 보였고, 상용 모델인 Gemini-2.5-Pro와 대등한 수준의 선호도 일치도를 증명했다.

강화학습(RL) 실험에서 RationalRewards를 보상으로 사용했을 때, 기존 스칼라 보상 모델(MultiReward) 대비 FLUX.1-dev의 성능을 UniGenBench++ 기준 60.97에서 70.34로 크게 향상시켰다. 이는 비평 기반의 정밀한 보상이 보상 해킹을 억제하고 실제 시각적 품질 개선으로 이어졌음을 의미한다.

가장 주목할 만한 결과는 테스트 시점의 프롬프트 튜닝(PT) 성능이다. 모델 가중치를 전혀 수정하지 않는 PT 방식만으로도 막대한 연산이 필요한 RL 미세조정(Fine-tuning) 결과와 대등하거나 오히려 더 높은 성능을 여러 편집 벤치마크에서 달성했다.

RationalRewards는 Qwen3-VL-Instruct-8B를 백본으로 사용하며, PARROT 프레임워크를 통해 선호도 데이터를 비평 데이터로 변환하여 학습한다. 핵심 수학적 기반은 ELBO(Evidence Lower Bound)를 최대화하는 것으로, 비평(z)을 잠재 변수로 취급하여 선호도(y)의 로그 우도를 최적화한다. 이 과정에서 Hindsight(사후 분석)와 Foresight(사전 예측) 구조를 분리하여 교사-학생 학습을 구현했다.

기존의 직접 증류(Direct Distillation) 방식과 달리, PARROT은 'Preference Anchoring'을 통해 교사 모델이 정답에 집중하게 만들고 'Consistency Filtering'으로 논리적 인과관계가 확실한 데이터만 남긴다. 실험 결과, 이러한 구조적 합리화 과정이 단순히 더 큰 교사 모델을 사용하는 것보다 성능 향상에 훨씬 더 기여함(MMRB2 기준 +6.8점)을 확인했다.

추론 시에는 vLLM의 프레임워크를 활용하며, Prefix Caching과 Paged Attention을 통해 비평 및 수정 루프의 오버헤드를 이미지당 약 0.4초 수준으로 억제했다. 이는 수백 GPU 시간이 소요되는 RL 미세조정에 비해 매우 경제적인 대안이 된다.

RationalRewards의 품질은 학습 데이터를 생성한 교사 모델(Qwen3-VL-32B)의 능력에 상한선이 결정된다. 따라서 미세한 물리 시뮬레이션이나 특정 문화적 미학 등 교사 모델이 잘 모르는 영역에서는 한계가 있을 수 있다. 또한 현재 모든 평가는 영어 벤치마크로만 수행되어 타 언어에 대한 범용성은 검증되지 않았다.