이미지 편집에서 검증기 기반 강화학습 활용

기존 이미지 편집 모델은 전체적인 점수만 매기는 보상 모델을 사용하여 세부 지시사항을 놓치는 경우가 많았다. 이 논문은 편집 지침을 여러 원칙으로 분해하고 단계별로 검증하는 추론 보상 모델을 도입하여 복잡한 편집 작업의 정확도를 크게 높였다.

기존의 이미지 편집 보상 모델은 편집된 이미지를 보고 단순히 '좋음' 또는 '나쁨'이라는 하나의 점수(Scalar score)만 출력하는 회귀 모델 구조를 가졌다. 이러한 방식은 사용자의 복잡한 지시사항 중 어떤 부분이 지켜졌고 어떤 부분이 무시되었는지 세밀하게 파악하지 못하며, 배경 보존과 같은 중요한 요소를 놓치는 한계가 있다.

이 논문은 보상 모델을 단순한 점수 측정기에서 '추론 검증기'로 전환한다. 먼저 입력된 편집 지시사항을 '유지해야 할 요소', '수정해야 할 요소', '전체적인 품질' 등 구체적인 원칙(Principles)으로 분해한다. 그 다음 모델이 각 원칙에 대해 이미지를 대조하며 단계별로 추론(Chain-of-Thought)하게 함으로써, 최종 점수가 도출되는 과정을 논리적으로 구조화한다.

이러한 구조적 변화는 보상 모델이 더 엄격하고 신뢰할 수 있는 평가자가 되도록 만든다. 특히 비미분(Non-differentiable) 특성을 가진 텍스트 기반 추론 과정을 보상 신호로 활용하기 위해 GRPO와 같은 강화학습 기법을 적용함으로써, 편집 모델이 인간의 의도에 더 정확히 부합하는 이미지를 생성하도록 유도한다.

Edit-R1은 크게 두 단계의 보상 모델 학습과 한 단계의 하위 모델 최적화로 구성된다. 첫 번째 단계는 'Cold-start SFT'로, 20만 개의 편집 샘플에 대해 외부 VLM을 활용하여 고품질의 추론 및 점수 데이터를 생성하고 이를 기반으로 Edit-RRM을 지도 학습시킨다. 이때 지시사항은 Keep, Follow, Quality의 세 가지 핵심 축을 기준으로 분해된다.

두 번째 단계는 GCPO(Group Contrastive Preference Optimization)를 통한 보상 모델 정교화이다. 인간이 평가한 이미지 쌍(x_w, x_l)에 대해 모델이 N개의 추론 궤적을 생성하게 한다. [승자 그룹의 점수 > 패자 그룹의 점수]인 경우를 계산하여 Win/Loss 비율을 구하고, 이를 Advantage로 사용하여 모델의 가중치를 갱신한다. 이 과정은 모델이 인간의 선호도와 일치하는 추론을 하도록 정렬한다.

마지막으로 학습된 Edit-RRM을 보상 함수로 사용하여 하위 편집 모델을 GRPO(Group Relative Policy Optimization)로 학습시킨다. 편집 모델이 생성한 G개의 이미지에 대해 Edit-RRM이 각각 점수를 매기고, [개별 점수 - 그룹 평균 점수 / 표준편차]를 계산하여 Advantage를 도출한다. 이 신호를 통해 편집 모델은 미분 불가능한 복잡한 보상 체계 하에서도 효과적으로 최적화된다.

7B 파라미터 규모의 Edit-RRM은 자체 벤치마크에서 82.2%의 정확도를 기록하며 Seed-1.5-VL(79.3%)과 같은 강력한 상용 API 모델을 능가했다. 특히 GCPO 단계를 거치면서 정확도가 75.4%에서 82.2%로 크게 상승하여 인간 선호도와의 정렬 효과를 입증했다.

하위 모델 적용 실험에서 FLUX.1-kontext 모델에 Edit-R1을 적용한 결과, GEdit-Bench-EN 기준 전체 점수가 5.77에서 6.24로 향상되었다. 특히 난이도가 높은 'Motion Change(동작 변경)' 카테고리에서는 4.01에서 4.62로 15.2%의 상대적 성능 향상을 달성했다. Qwen-Image-Edit 모델에서도 일관된 성능 개선이 확인되어 프레임워크의 범용성을 보여주었다.

Edit-RRM은 Qwen-VL-2.5-7B를 기반 아키텍처로 사용하며, 이미지와 텍스트를 동시에 처리하는 멀티모달 구조를 갖는다. 핵심 기술적 차별점은 보상을 단순 스칼라 값이 아닌 구조화된 JSON 형태의 검증 결과와 최종 점수의 조합으로 정의했다는 점이다. 이는 DeepSeek-R1에서 영감을 받은 검증 가능한 보상(Verifiable Rewards) 개념을 시각적 편집 영역으로 확장한 것이다.

GCPO 알고리즘은 기존 DPO가 정책 탐색을 제한하는 한계를 극복하기 위해 그룹 내 상대적 우위를 활용한다. 수식적으로는 승자 그룹과 패자 그룹 간의 교차 비교를 통해 Advantage를 계산하며, 이는 모델이 단순히 높은 점수를 주는 것이 아니라 '왜 이 이미지가 저 이미지보다 나은지'를 추론 과정에 반영하도록 강제한다. 학습 시에는 G=24의 그룹 크기와 0.04의 KL 페널티 계수를 사용하여 안정적인 수렴을 도모했다.

Edit-RRM이 효과적인 검증기 역할을 하지만, 여전히 복잡한 공간적 관계나 미세한 질감 변화에 대해서는 간헐적인 환각(Hallucination)이 발생할 수 있음을 언급했다.