GEditBench v2: 일반 이미지 편집을 위한 인간 정렬 벤치마크

이미지 편집 AI가 지시사항을 따르는 것을 넘어, 바꾸지 말아야 할 영역을 얼마나 잘 보존하는지(시각적 일관성)를 정확히 평가하는 것이 중요해졌다. 이 논문은 인간의 판단 방식과 유사한 쌍체 비교 모델과 방대한 벤치마크를 제공하여, 더 정교하고 신뢰할 수 있는 이미지 편집 기술 발전을 위한 표준을 제시한다.

기존 이미지 편집 평가는 이미지 한 장에 점수를 매기는 방식이라 인간이 느끼는 미세한 차이를 반영하기 어려웠다. 특히 사용자는 편집 지시와 상관없는 배경이나 인물의 정체성이 변하는 것에 민감한데, 기존 지표들은 이를 통합적으로 잡아내지 못했다. 이 논문은 두 이미지를 나란히 놓고 비교하는 것이 인간의 판단 메커니즘과 더 가깝다는 점에 주목했다.

핵심 아이디어는 이미지를 '바뀌어야 할 곳'과 '그대로여야 할 곳'으로 나누어 관리하는 것이다. Transformer 기반의 VLM이 지시문을 해석해 편집 대상을 찾으면, 해당 부분은 작업에 맞는 지표(예: 얼굴 정체성 유지)로 검사하고, 나머지 배경은 픽셀 단위의 유사도 지표로 엄격하게 검사한다. 이렇게 영역별로 특화된 기준을 세워 데이터를 만들고 모델을 학습시켰다.

결과적으로 PVC-Judge는 단순히 지시를 잘 따랐는지만 보는 것이 아니라, 원본의 중요한 특징들을 얼마나 잘 지켰는지를 인간과 유사한 수준으로 판별할 수 있게 되었다. 이는 폐쇄형 API에 의존하지 않고도 누구나 고성능의 이미지 편집 평가를 수행할 수 있는 환경을 제공한다.

GEditBench v2는 로컬 편집, 글로벌 편집, 참조 기반 편집, 하이브리드, 오픈셋의 5개 대분류로 구성된다. 특히 오픈셋은 기존의 정형화된 작업 분류를 벗어난 복잡한 실제 사용자 요구사항을 포함하여 모델의 일반화 능력을 엄격히 테스트한다.

PVC-Judge 학습을 위해 객체 중심(Object-centric) 및 인간 중심(Human-centric) 파이프라인을 구축했다. Qwen3-VL을 활용해 지시문에서 편집 대상을 추출하고 마스크를 생성하여 이미지를 편집 영역($\Omega_{edit}$)과 비편집 영역($\Omega_{non}$)으로 분할한다. 비편집 영역에서는 SSIM, LPIPS, EMD를 조합하여 시각적 불변성을 측정한다. [입력 이미지 쌍 → 영역별 특징 추출 → 유사도 계산 → 불변성 점수 산출]

편집 영역에서는 작업 특성에 따라 Face ID(ArcFace), Hair Appearance, Body Appearance 등의 전용 모델을 적용한다. 예를 들어 인물 편집 시 Face ID 임베딩 간의 코사인 유사도를 계산하여 정체성 보존 여부를 수치화한다. [편집된 얼굴 영역 → ArcFace 임베딩 추출 → 원본과 코사인 유사도 계산 → 정체성 유지 점수]

최종 데이터셋 구축 시 Pareto Dominance 규칙을 적용했다. 후보 이미지 A가 B보다 최소 하나 이상의 주요 지표에서 우수하면서 다른 지표에서 열세하지 않은 경우에만 선호도 쌍으로 채택하여 데이터의 객관성을 확보했다. PVC-Judge는 Qwen3-VL-8B-Instruct를 기반으로 LoRA 기법을 통해 128k개의 합성 데이터로 미세 조정되었다.

VCReward-Bench 메타 평가에서 PVC-Judge는 81.82%의 평균 정확도를 달성했다. 이는 GPT-5.1(76.89%)보다 높고, 폐쇄형 모델인 Gemini 3 Pro(87.13%)에 근접한 수치로 오픈소스 평가 모델 중 최고 성능이다. 특히 색상 변경(94.20%)과 배경 변경(87.00%) 작업에서 매우 높은 정확도를 보였다.

16개의 최신 이미지 편집 모델을 GEditBench v2로 평가한 결과, Nano Banana Pro가 가장 높은 Overall Elo 레이팅(1,096)을 기록하며 1위를 차지했다. 오픈소스 모델 중에서는 FLUX.2 [klein] 9B가 1,039점을 기록하며 상용 모델인 GPT Image 1.5(1,071)를 바짝 추격하는 경쟁력을 보여주었다.

실험을 통해 'Decide-Only' 프롬프트 전략의 효율성도 입증되었다. VLM이 추론 과정을 먼저 생성하게 하는 것보다 즉시 승자를 결정하게 하는 방식이 환각 현상을 줄이고 평가 시간을 약 3배(411초에서 133초로) 단축시키는 것으로 나타났다.

PVC-Judge는 Qwen3-VL-8B-Instruct를 백본으로 사용하며, LoRA(rank=64, alpha=128)를 적용해 파라미터 효율적인 미세 조정을 수행했다. 학습에는 AdamW 옵티마이저와 코사인 학습률 스케줄러를 사용했으며, 8개의 NVIDIA L40S GPU에서 배치 사이즈 16으로 3에폭 동안 학습되었다.

평가 지표 설계 시 구조적 무결성을 위해 L-channel SSIM을 도입했다. 이는 색상 변경 작업에서 구조적 형태는 유지하되 색상 변화는 허용하기 위해 명도(Lightness) 채널에서만 SSIM을 계산하는 방식이다. 또한 DINOv3를 활용한 패치 레벨 임베딩으로 세밀한 시각적 특징의 보존 여부를 감지한다.

인간 중심 편집 평가를 위해 전용 헤어 세그멘터와 셀피 세그멘터를 통합했다. 헤어 영역에서 고주파 텍스처 맵을 추출하여 미세한 머리카락 구조의 일관성을 측정하고, 인물 실루엣 마스크를 통해 의상 및 포즈의 유지력을 코사인 유사도로 평가하는 정교한 파이프라인을 구축했다.

대규모 이미지 편집 모델 평가에는 막대한 컴퓨팅 자원과 긴 추론 시간이 필요하여 벤치마크의 샘플 다양성이 제한될 수 있다. 또한 데이터 합성에 사용된 SAM, CLIP 등 기초 모델의 편향이 평가 결과에 전이될 가능성이 존재한다.