GRADE: 이미지 편집에서의 학문 지식 기반 추론 벤치마킹

기존 이미지 편집 기술이 일상적인 사물 변경에 치중했던 것과 달리, 이 논문은 수학, 물리, 화학 등 10개 학문 분야의 전문 지식을 요구하는 새로운 평가 기준을 제시합니다. 이는 AI가 단순한 시각적 모방을 넘어 실제 학문적 원리를 이해하고 도표나 수식을 정확하게 수정할 수 있는지를 판가름하는 중요한 척도가 됩니다.

기존의 이미지 편집 모델은 주로 Attention Mechanism을 통해 텍스트와 이미지의 상관관계를 학습하며, '빨간 사과를 초록색으로 바꿔라'와 같은 시각적 속성 변경에 최적화되어 있다. 그러나 '이 화학 반응의 생성물을 그려라'와 같은 명령은 단순한 픽셀 변경이 아니라, 모델 내부의 Embedding 공간에 저장된 전문 지식을 인출하고 이를 시각적 구조와 결합하는 고차원적인 추론이 필요하다.

GRADE는 이러한 문제를 해결하기 위해 모델이 이미지 내의 기하학적, 논리적 제약 조건을 파악하도록 강제한다. 예를 들어, 수학 도표에서 특정 함수 그래프를 이동시킬 때, 모델은 단순히 선을 새로 그리는 것이 아니라 좌표축과의 관계, 함수의 기울기 등 수학적 정합성을 유지해야 한다. 이는 모델이 시각적 특징을 단순한 형태(Shape)가 아닌 의미론적 구조(Semantic Structure)로 이해해야 함을 의미한다.

실험 결과, 현재 가장 뛰어난 모델조차 GRADE의 엄격한 기준(Strict Accuracy) 하에서는 50% 미만의 성능을 보였다. 이는 모델이 시각적 생성 능력은 갖추었으나, 이를 특정 도메인의 규칙과 연결하여 실행하는 '지식 기반 제어' 능력이 여전히 부족함을 보여준다.

데이터셋 구축 및 계층화. 수학, 물리, 화학, 생물, 경제 등 10개 학문 분야에서 520개의 편집 트리플렛(입력 이미지, 지시어, 정답 이미지)을 수집함. 각 분야는 다시 세부 전공으로 나뉘어 모델의 세밀한 지식 분포를 측정할 수 있도록 설계됨.

질문 기반 학문적 추론 평가. GPT-5를 활용하여 각 편집 작업의 성공 여부를 판단할 수 있는 가중치 기반 이진 질문 세트를 생성함. [편집 지시어와 정답 이미지 입력 → 질문 생성 → 모델 출력 이미지와 비교 → 가중 합산 점수 산출] 과정을 통해 추론의 정확성을 수치화함.

시각적 일관성 및 가독성 검증. 편집 대상이 아닌 영역의 보존 상태를 평가하는 Visual Consistency 지표와, 결과물이 인간이 읽기에 논리적으로 타당한지(예: 레이블 오타, 기호 혼선 등)를 확인하는 Logical Readability 지표를 병행하여 평가의 신뢰도를 높임.

종합 성능 비교. 폐쇄형 모델인 Nano Banana Pro가 46.2%의 정확도로 1위를 차지했으며, Nano Banana 2(39.6%)와 Seedream 5.0(24.7%)이 뒤를 이음. 오픈소스 모델 중 최상위인 Qwen-Edit-2511은 2.7%에 불과하여, 전문 지식 추론 영역에서 오픈소스와 폐쇄형 모델 간의 현격한 성능 차이가 확인됨.

학문 분야별 성능 분석. Nano Banana Pro는 물리(53.1%), 생물(55.6%), 컴퓨터 과학(57.1%) 등 STEM 분야에서 강점을 보였으나, 역사(29.6%)나 지리(37.5%)와 같이 시각적 맥락과 복잡한 지식이 결합된 분야에서는 모든 모델이 고전하는 양상을 보임.

오류 유형 분석. 모델의 실패 원인을 분석한 결과, 이미지 내 기호를 잘못 인식하는 인식 오류(Perception Error), 필요한 학문적 지식을 인출하지 못하는 지식 오류(Knowledge Error), 다단계 추론 과정에서 실패하는 추론 오류(Reasoning Error) 등이 주요 병목 지점으로 나타남.

GRADE 아키텍처는 모델의 '지식 기반 편집' 능력을 평가하기 위해 520개의 정교한 샘플을 10개 학문 도메인으로 분류하여 제공함. 각 샘플은 입력 이미지, 텍스트 지시어, 전문가가 검수한 정답 이미지(GT)로 구성됨.

평가 메커니즘은 MLLM-as-a-judge 방식을 고도화하여, 단순한 전체론적 평가 대신 세부적인 체크리스트 기반의 채점 방식을 채택함. 이는 모델이 특정 부분에서 왜 실패했는지를 정량적으로 분석할 수 있게 함.

시각적 일관성 평가에서는 Localized Consistency(국소적 일관성), Style Consistency(스타일 일관성), Consistency Independence(일관성 독립성)의 세 가지 범주를 정의하여, 작업의 성격에 따라 유연하면서도 엄격한 기준을 적용함.

구현 세부사항으로, 평가 모델인 Gemini-3-Flash는 인간 전문가의 평가 결과와 높은 상관관계를 보임. Pearson r은 두 변수 간의 선형 상관관계를 나타내며, [인간의 평가 점수와 모델의 평가 점수를 입력으로] → [공분산을 표준편차의 곱으로 나누는 연산을 수행해] → [0.8505라는 결과를 얻고] → [이는 두 평가 결과가 매우 강한 양의 상관관계를 가짐을 의미함.]

모델들이 암시적인 지시어(Implicit instructions)를 처리할 때 성능이 급격히 하락하며, 지시어를 단계별로 명시적으로 제공하더라도 복잡한 공간 추론이나 다단계 논리 실행 과정에서 여전히 많은 오류를 범함이 확인됨.