CREval: 복잡한 지시문 기반의 창의적 이미지 편집을 위한 자동화된 해석 가능 평가 체계

기존의 이미지 편집 평가는 단순한 객체 추가나 색상 변경에 치중되어 복잡하고 창의적인 지시문을 처리하는 능력을 측정하기 어려웠다. CREval은 평가 과정을 구체적인 질문-답변(QA) 형태로 분해하여 인간의 판단과 높은 일치도를 보이는 자동화된 평가 기준을 제시함으로써 모델 개발 효율성을 극대화한다.

기존의 이미지 평가 방식은 모델에게 직접 점수를 매기게 하는 '블랙박스' 형태였기 때문에 왜 그런 점수가 나왔는지 알기 어려웠다. 이는 딥러닝에서 고차원적인 Embedding 공간의 유사도만 측정할 때 발생하는 해석력 부재 문제와 유사하다. CREval은 이를 해결하기 위해 평가 과정을 마치 사람이 채점 기준표를 보고 하나씩 체크하듯 구체적인 '예/아니오' 질문들로 쪼개어 처리한다.

이 과정은 Attention 메커니즘이 입력 데이터의 특정 부분에 집중하는 원리를 평가 단계로 확장한 것과 같다. 모델이 지시문의 각 단어와 이미지의 각 영역을 정확히 매칭했는지 확인하기 위해, 지시문을 논리적 단위로 분해하고 각 단위가 결과물에 반영되었는지를 개별 질문을 통해 검증한다. 결과적으로 전체적인 인상에 의존하는 대신, 세부적인 특징들의 구현 여부를 합산하여 최종 점수를 산출함으로써 평가의 객관성과 신뢰도를 확보한다.

CREval 파이프라인은 3단계로 구성된다. 1단계에서는 고품질 이미지와 복잡한 편집 지시문을 생성하고, 2단계에서는 지시문 준수(IF), 시각적 일관성(VC), 시각적 품질(VQ)을 검증하기 위한 구체적인 QA 쌍을 생성한다. 3단계에서 MLLM(예: GPT-4o)이 이 질문들에 답하며 최종 점수를 계산한다.

지시문 준수(IF) 측정 시에는 Chain-of-Thought(CoT)를 사용하여 지시문의 의도를 분해하고, 모든 요구사항이 결과물에 반영되었는지 확인하는 질문들을 생성한다. [지시문 텍스트 입력 → CoT로 세부 요구사항 추출 → 개별 확인 질문 생성 → 결과 이미지와 대조] 과정을 거쳐 정확도를 수치화한다.

시각적 일관성(VC)은 원본 이미지의 핵심 특징(Identity)이 유지되는지를 평가한다. 중요도 가중치 w ∈ {1, 2, 3}를 각 요소에 부여하여, 핵심적인 특징이 사라졌을 때 더 큰 감점을 부여하도록 설계했다. [원본 이미지의 핵심 요소 추출 → 중요도 할당 → 편집 후 유지 여부 확인 → 가중치 적용 점수 합산] 방식으로 계산된다.

최종 점수 S는 S = 0.4 * S_IF + 0.4 * S_VC + 0.2 * S_VQ 수식을 통해 산출된다. [각 지표의 점수를 입력으로 → 정해진 가중치를 곱해 합산하는 연산을 수행해 → 최종 점수 S를 얻고] 이 값은 인간의 선호도와 가장 높은 상관관계를 가지는 지표로 활용된다.

벤치마크 결과, Seedream 4.0이 종합 점수 83.43점으로 폐쇄형 모델 중 1위를 차지했으며, GPT-Image-1(78.97점)과 Gemini 2.5 Flash Image(81.34점)를 앞섰다. 오픈소스 모델 중에서는 Qwen-Image-Edit-2509가 79.78점으로 가장 우수한 성능을 보였다.

세부 지표 분석 결과, 대부분의 모델이 지시문 준수(IF)와 시각적 품질(VQ)에서는 양호한 성적을 거두었으나, 원본의 특징을 유지하는 시각적 일관성(VC)에서는 상대적으로 낮은 점수를 기록했다. 특히 복잡한 창의적 편집 작업에서 오픈소스 모델과 폐쇄형 모델 간의 성능 격차가 뚜렷하게 나타났다.

인간 평가와의 상관관계 분석에서 CREval 점수는 기존의 Aesthetic Score나 VIEScore보다 인간의 선호도와 훨씬 높은 상관계수를 기록하여, 자동화된 평가 도구로서의 실효성을 입증했다.

CREval-Bench는 Customization(파생 캐릭터, 재해석), Contextualization(상업적 디자인, 서사적 표현), Stylization(예술적 스타일, 재질 변환)의 3개 대분류와 9개 소분류로 구성되어 이미지 편집의 다각적인 측면을 평가한다. 평가용 QA 생성 시 Qwen2.5-VL-72B와 같은 강력한 오픈소스 MLLM을 활용하여 편향을 줄이고 질문의 객관성을 확보했다. 각 지표당 최소 5개 이상의 질문을 생성하여 평가의 포괄성을 높였으며, 시각적 품질(VQ) 평가에서는 구조적 일관성, 부자연스러운 질감 유무, 기하학적 왜곡 등을 집중적으로 체크하도록 프롬프트를 설계했다.

논문에서는 MLLM이 시각적 품질(VQ) 평가 시 미세한 아티팩트나 왜곡을 감지하는 데 여전히 한계가 있을 수 있음을 언급했다. 또한, 평가 모델 자체의 편향이 결과에 영향을 줄 수 있는 가능성을 배제할 수 없다.