ImagenWorld: 개방형 실제 작업에 대한 설명 가능한 인간 평가를 통한 이미지 생성 모델 스트레스 테스트

기존 이미지 생성 평가가 단순한 텍스트-이미지 정렬에 치우쳐 실제 사용자의 복잡한 편집이나 다중 참조 요구사항을 반영하지 못하는 문제를 해결한다. 6가지 핵심 작업과 6가지 도메인을 아우르는 방대한 데이터셋을 통해 현재 모델들이 텍스트가 많은 이미지나 국소적 편집에서 겪는 치명적인 결함을 정밀하게 진단할 수 있게 한다.

기존의 이미지 생성 모델 평가는 주로 FID나 CLIPScore 같은 지표를 사용하여 전체적인 이미지 품질이나 텍스트와의 유사도만 측정했다. 하지만 이는 모델이 왜 특정 부분에서 실패하는지, 예를 들어 왜 손가락 개수가 틀리거나 텍스트가 깨지는지에 대한 구체적인 이유를 설명하지 못한다는 한계가 있다.

ImagenWorld는 이를 해결하기 위해 '설명 가능한 평가(Explainable Evaluation)' 개념을 도입한다. 단순히 1~5점의 점수를 매기는 것이 아니라, 생성된 이미지 내에서 어떤 객체가 누락되었는지(Object-level) 또는 어떤 특정 영역(Segment)에 시각적 결함이 있는지를 세밀하게 기록한다. 이는 딥러닝 모델의 출력물을 단순한 픽셀 덩어리가 아닌, 의미론적 단위로 쪼개어 분석하는 방식이다.

이 벤치마크를 통해 모델이 단순히 이미지를 잘 만든다는 평가를 넘어, 편집 명령을 내렸을 때 원본을 유지하면서 특정 부분만 바꿀 수 있는가와 같은 고차원적인 능력을 검증한다. 실험 결과, 현재의 최첨단 모델들도 국소적인 편집(Local Edit)이나 스크린샷과 같은 텍스트 집약적 환경에서는 여전히 큰 성능 저하를 보인다는 사실이 입증되었다.

벤치마크 구성 및 데이터 수집 단계에서는 6가지 작업(TIG, SRIG, MRIG, TIE, SRIE, MRIE)과 6가지 도메인을 조합하여 총 3,600개의 데이터 포인트를 생성했다. 각 데이터는 인간의 작성과 자동화된 정제 과정을 거쳐 실제 사용 시나리오를 반영하도록 설계되었다.

설명 가능한 평가 프레임워크는 인간 평가자가 Prompt Relevance, Aesthetic Quality, Content Coherence, Artifact의 4가지 기준에 따라 점수를 부여하도록 한다. 동시에 객체 수준 이슈(누락, 왜곡 등)와 세그먼트 수준 이슈(Set-of-Mark를 활용한 영역 지정)를 태깅하여 오류의 위치와 원인을 명시한다.

VLM-as-a-Judge 및 자동 지표 활용에서는 인간 평가의 확장성 문제를 해결하기 위해 Gemini 2.0 Flash를 평가자로 활용하는 프로토콜을 설계했다. 인간과의 상관관계 분석을 통해 VLM이 상대적 순위 산정에는 효과적이지만, 미세한 오류 탐지에는 여전히 인간의 정밀한 개입이 필요함을 확인했다.

모델 성능 분석 결과, GPT-Image-1이 모든 작업에서 가장 강력한 성능을 보였으며 Gemini 2.0 Flash 대비 평균 0.1~0.2점 높은 점수를 기록했다. 특히 편집 작업에서 폐쇄형 모델과 오픈소스 모델 간의 격차가 가장 뚜렷하게 나타났다.

도메인별 취약점 분석에서는 모든 모델이 예술적 및 실사 이미지 생성에는 능숙하지만, 스크린샷이나 정보 그래픽과 같이 텍스트와 기호가 밀집된 도메인에서는 평균 점수가 0.55 수준으로 급감했다. Qwen-Image는 텍스트 특화 데이터 큐레이션을 통해 이 분야에서 상대적으로 우수한 성능을 보였다.

편집 작업의 실패 모드 조사 결과, 모델들은 편집 시 원본 이미지를 완전히 무시하고 새로 생성하거나 수정 요청을 무시하고 원본을 그대로 반환하는 두 가지 주요 실패 패턴을 보였다. 이는 현재 아키텍처가 국소적 수정과 원본 구조 유지 사이의 균형을 잡는 데 기술적 병목이 있음을 시사한다.

본 연구는 텍스트 가이드 생성(TIG), 단일 참조 생성(SRIG), 다중 참조 생성(MRIG)과 각각에 대응하는 편집 작업(TIE, SRIE, MRIE)을 수학적으로 정의하여 모델의 조건부 생성 능력을 다각도로 검증한다. 각 작업은 입력 프롬프트와 참조 이미지의 조합에 따라 모델이 출력해야 할 기댓값을 명확히 규정한다.

VLM 기반 평가와 인간 평가 간의 Kendall accuracy가 최대 0.79에 도달함을 확인하여 자동화된 평가의 신뢰성을 통계적으로 검증했다. 다만 Artifact(결함) 탐지 영역에서는 VLM이 인간보다 관대한 경향(Positive Bias)을 보인다는 점을 정량화하여 보고했다.

데이터 큐레이션 파이프라인은 인간의 프롬프트 작성과 자동화된 정제 과정을 결합하여 구축되었다. 각 작업-도메인 조합당 100개의 샘플을 할당하여 데이터 불균형에 따른 평가 왜곡을 방지했으며, 20K 규모의 세밀한 주석을 통해 모델의 실패 사례를 유형별로 분류했다.

인간 평가 과정에서 주관성이 완전히 배제되기 어려우며, VLM 기반 평가기가 미세한 시각적 결함이나 텍스트 오류를 탐지하는 데 있어서는 여전히 인간 평가자보다 정확도가 떨어진다.