SpectraReward: 사전학습된 MLLM을 훈련 불필요한 텍스트-투-이미지 보상기로 전환

문장으로 주어진 프롬프트에 따라 이미지를 생성하는 과정에서 보상 신호는 정책의 상한을 결정하는 핵심 요소이고, 기존 방법은 사람 선호 레이블이나 별도 보상 모델 미세조정에 크게 의존했다. SpectraReward는 사전학습된 MLLM의 이미지-텍스트 정렬 능력을 추가 학습 없이 그대로 재활용하여 프롬프트 복원 가능성을 보상으로 사용하므로 라벨 수집과 보상 학습 비용을 제거한다. 이 접근은 외부 보상 모델 없이도 통합 멀티모달 모델의 자체 이해 분기를 보상으로 활용할 수 있어 보상-정책 분포 정렬이 성능 향상에 결정적임을 경험적으로 입증했다.

문제 출발점은 텍스트-투-이미지 정책 학습에서 보상 신호의 비용과 신뢰성 문제이다. 기존에는 인간 선호 레이블 수집이나 별도의 보상 모델 미세조정이 필요하여 비용과 배포 복잡성이 커졌고, 단일 스칼라 판정은 판정자 보정 문제와 노이즈에 민감했다. 토큰 단위의 확률적 언어 모델링 관점에서 보면, 이미지가 주어졌을 때 프롬프트의 다음 토큰 우도는 이미지가 프롬프트 의미를 얼마나 재현하는지 직접 반영한다. SpectraReward의 핵심 원리는 MLLM의 이미지-텍스트 정렬 능력을 역으로 활용하는 것이다. 구체적으로 이미지를 조건으로 MLLM에 넣고 프롬프트를 교사 강제(teacher-forcing)로 통과시키면 각 시점 t에서 다음 토큰 x_{t+1}의 조건부 확률 p(x_{t+1}|x_{t},y)를 얻을 수 있다. 이 토큰별 로그우도들이 의미 스펙트럼을 형성하며, 이들의 평균을 스칼라 보상으로 사용하면 추가 학습 없이도 밀도 있는 보상 신호를 얻을 수 있다. Self-SpectraReward는 통합 멀티모달 모델의 분리된 이해·생성 분기 구조를 활용한다. 생성 분기가 만든 이미지에 대해 같은 모델의 이해 분기로 프롬프트 우도를 측정하면 토크나이저·비전 인코더·사전학습 분포가 일치하므로 보상-정책 정렬이 자연스럽게 향상된다. 이 정렬 효과는 외부 대형 보상 모델의 절대적 능력보다 정책과 보상 사이의 분포적 호환성이 더 중요할 수 있다는 관찰로 연결된다. 결과적으로 SpectraReward는 한 번의 순전파로 밀도 있는 토큰 수준 신호를 제공하고, Self-SpectraReward는 분포 정렬을 활용해 외부 모델에 의존하지 않는 효율적인 RL 보상 파이프라인을 가능하게 만든다.

전체 접근은 사전학습된 MLLM을 고정시키고 이미지 조건하의 프롬프트 토큰 로그우도를 보상으로 사용하는 단일 단계 파이프라인을 채택한다. 입력으로 프롬프트 x와 생성 이미지 y를 받고, MLLM에 y를 시각적 조건으로 제공한 뒤 프롬프트를 교사 강제 방식으로 입력하여 각 다음 토큰의 조건부 확률을 계산한다. 이렇게 얻은 토큰 로그우도들의 평균이 SpectraReward의 스칼라 값이 된다. 이 설계는 별도 보상 미세조정이나 질문 분해, 외부 판정자 호출 없이 한 번의 순전파만으로 보상을 계산하므로 계산 비용과 엔지니어링 복잡도를 줄인다. 핵심 메커니즘의 수식은 다음과 같다: R_{ M}(x,y)=\frac{1}{T-1}\sum_{t=1}^{T-1}\log p_{\mathcal{M}}(x_{t+1}\mid x_{\leq t},y). 여기서 x=(x_1,\ldots,x_T) 는 프롬프트 토큰 시퀀스이며 y는 생성 이미지이다. p_{\mathcal{M}}(x_{t+1}\mid x_{\leq t},y)는 MLLM이 이미지와 앞선 프롬프트 컨텍스트를 바탕으로 다음 토큰을 예측하는 조건부 확률이다. 계산 흐름은 이미지와 초기 토큰들 입력 -> 모델의 교사 강제 순전파로 각 시점의 p값 산출 -> 로그 변환 후 평균 집계 -> 스칼라 보상 산출의 순서이다. 예로 프롬프트 길이 T=6인 경우 네 개의 다음 토큰 확률을 얻어 이들의 로그합을 5로 나눠 평균을 취하면 보상이 된다(예: 로그우도 합이 -15이면 평균은 -3.0이다), 이 값이 더 클수록 프롬프트 복원이 더 잘 된 것으로 해석된다. Self-SpectraReward는 동일 모델의 이해 분기를 보상기로 지정하는 방법론적 확장이다. 통합 멀티모달 모델의 경우 이해 분기와 생성 분기가 토크나이저·비전 인코더·사전학습 분포를 공유하므로 이해 분기로부터 얻은 우도는 생성 분기의 출력 분포와 더 잘 정렬된다. 실험적으로는 이 내부 정렬이 외부 더 큰 MLLM을 쓸 때보다 비슷하거나 더 나은 성능을 내는 경우가 관찰되었다. 언어 우도 보정 문제에 관해서는 그룹 상대 강화학습 관점에서 텍스트 전용 우도(log p(x))는 동일 프롬프트에 속한 모든 샘플에 상수로 작용하여 군집 내 우위 판단에는 영향을 주지 않는다는 점을 명확히 보였다. 따라서 단일 프롬프트 그룹 내에서의 순위 결정에는 PMI 정규화가 추가적 신호를 제공하지 않으며, 이로 인해 단순 평균 로그우도만으로도 효과적인 군집 내부 보상 신호가 생성된다.

방법의 유효성은 광범위한 실험 세트로 검증되었다. 실험 구성은 두 가지 텍스트-투-이미지 생성 백본(SD3.5-M과 BAGEL 포함), 세 가지 RL 알고리즘, 아홉 개의 보상 MLLM 백본(4B에서 235B 파라미터 범위), 그리고 다섯 개의 아웃오브도메인 텍스트-투-이미지 벤치마크를 포함한다. 이 범위를 통해 SpectraReward와 Self-SpectraReward의 범용성과 정책·보상 조합에 따른 성능 차이를 평가했다. 주요 정량 결과로는 BAGEL을 정책으로 사용할 때 SpectraReward 및 Self-SpectraReward가 BAGEL 기준선을 반복적으로 개선했으며 TIIF-Bench에서 +10.0, GenEval에서 각각 +4.3와 +5.5 향상이 보고되었다. SpectraReward는 강한 RL 기준선인 AlphaGRPO보다 TIIF-Bench와 GenEval에서 각각 6.3 및 2.1의 우위를 보였고, Self-SpectraReward는 동급 혹은 더 큰 외부 MLLM에 필적하거나 능가하는 성능을 보인 사례가 있었다. 구체적으로 Self-SpectraReward는 일부 비교에서 4배 또는 30배 더 큰 MLLM에 견줘 GenEval에서 +1.2, GenEval2에서 +2.1, WISE에서 +2.0의 이득을 확보했다. 추가 분석에서는 보상 MLLM 규모가 클수록 항상 좋은 결과를 내지 않는 비단조적 스케일 특성이 관찰되었다. 토큰 수준 스펙트럼 실험에서는 속성 불일치나 객체 치환 같은 국소 오류가 특정 토큰 우도를 크게 떨어뜨렸고 그 결과 시퀀스 평균 보상도 낮아지는 양상이 반복적으로 확인되었다. 이 실험적 사실은 SpectraReward가 국소적 의미 오류에 민감하게 반응하며 군집 내 순위 신뢰성을 제공함을 뒷받침한다.

전체 아키텍처는 사전학습된 MLLM을 고정된 보상 모델로 쓰는 구조를 취한다. 입력 파이프라인은 생성된 이미지 y와 원본 프롬프트 x를 받아 MLLM의 이미지 인코더(있을 경우)로 이미지 표현을 산출하고, 이어서 프롬프트 토큰을 교사 강제로 순차 입력하여 각 다음 토큰의 조건부 확률을 얻는 흐름으로 구성된다. 이 과정에서 얻은 토큰별 로그우도는 의미 스펙트럼을 형성하고, 이들의 평균이 최종 스칼라 보상으로 환산되어 RL 알고리즘에 공급된다. 핵심 알고리즘적 차별성은 단일 순전파로 토큰 수준의 밀집 신호를 제공한다는 점이다. 기존 스칼라 판정 방식은 하나의 점수만 반환하는 반면 SpectraReward는 토큰별 정보를 제공하므로 국소적 의미 오류에 대한 해상도가 높다. 또한 Self-SpectraReward는 동일 UMM의 생성·이해 분기 공유로 인한 분포 정렬을 활용하여 외부 보상기와의 분포 차이로 인한 불일치 문제를 회피한다. 언어 우도 관련 처리에서는 군집 상대 강화학습의 관점이 중요한 역할을 한다. 프롬프트 고정 그룹 내에서 텍스트 전용 우도는 모든 샘플에 공통적으로 더해지므로 그룹 내 이득 계산에서는 상쇄되어 추가적인 PMI 정규화가 필요하지 않다는 점이 방법의 실용적 근거로 제시되었다. 다만 절대적 보상 캘리브레이션을 필요로 하는 작업에서는 텍스트 우도 보정이 영향을 줄 수 있음이 언급되었다. 학습·실험적 구현 세부사항으로는 두 종류의 생성 백본과 세 가지 RL 알고리즘을 사용하여 방법의 범용성을 검증했고, 보상 MLLM으로는 총 아홉 개의 백본을 실험에 포함하여 스케일별·아키텍처별 민감도를 평가했다. 실험 결과는 보상 MLLM의 크기만으로 성능이 예측되지 않으며, 정책과 보상 모델 간의 분포 정렬이 성능 향상에 결정적 역할을 함을 시사한다.

논문이 명시적으로 지적한 한계로는 보상 MLLM의 스케일이 클수록 항상 성능 향상으로 이어지지 않는 비단조적 거동이 존재한다는 점이다. 이는 단순히 더 큰 모델을 쓰는 것만으로는 정책과 보상 사이의 분포 정렬 문제를 해결할 수 없음을 의미한다. 또한 언어 우도 항목은 절대적 보상 캘리브레이션에는 영향을 미칠 수 있어 프롬프트 간 비교를 필요로 하는 작업에서는 추가 보정이 필요할 수 있다.