BizGenEval: 상업용 시각 콘텐츠 생성을 위한 체계적인 벤치마크

기존 이미지 생성 모델들이 예술적인 그림은 잘 그리지만, 실제 업무에서 쓰이는 슬라이드나 차트 같은 정교한 디자인 작업에서는 여전히 큰 한계를 보인다는 점을 입증했다. 이 논문은 텍스트 배치, 레이아웃 조절 등 실무에 꼭 필요한 4가지 핵심 능력을 평가하는 표준을 제시하여 향후 업무용 AI 개발의 이정표를 마련했다.

기존의 이미지 생성 모델 평가는 주로 자연스러운 이미지 합성이나 미적 품질에 집중되어 왔다. 하지만 실제 비즈니스 환경에서 필요한 슬라이드나 웹페이지 디자인은 텍스트의 정확한 위치(Layout), 수치 데이터의 시각화(Attribute Binding), 전문 지식의 반영(Knowledge) 등 매우 엄격하고 복잡한 제약 조건을 만족해야 한다. Transformer 기반의 생성 모델들이 픽셀 간의 관계를 학습하여 그럴듯한 이미지를 만들어내지만, 픽셀 단위의 정밀한 배치나 논리적 일관성을 유지하는 데에는 한계가 있다.

BizGenEval은 이러한 문제를 해결하기 위해 '체크리스트 기반 평가' 방식을 도입했다. 단순히 이미지 전체의 유사도를 측정하는 대신, "특정 텍스트가 정확한 위치에 있는가?", "차트의 막대 길이가 수치와 일치하는가?"와 같은 구체적인 질문 20개를 던져 모델의 성능을 세밀하게 측정한다. 이는 모델이 생성한 결과물을 고수준의 의미론적 단위로 분해하여 검증함으로써, 단순한 스타일 모방과 실제 구조적 생성 능력을 구분해낸다.

특히 지식 기반 추론(Knowledge-based Reasoning) 평가를 위해 프롬프트에서 핵심 정보를 의도적으로 누락시키고 모델이 내부 지식을 활용해 올바른 도표를 그리도록 유도했다. 이를 통해 모델이 단순히 지시를 따르는 것을 넘어 전문적인 맥락을 이해하고 시각화할 수 있는지 검증한다. 결과적으로 이 벤치마크는 현재의 생성형 AI가 '예술가'로서는 훌륭하지만 '전문 디자이너'로서는 아직 갈 길이 멀다는 점을 수치로 증명한다.

5개 도메인(Webpage, Slides, Chart, Poster, Scientific Figure)과 4개 역량(Layout, Attribute, Text, Knowledge)을 교차하여 20개의 평가 작업을 정의했다. 실제 상업용 디자인 사례 1,819개를 수집하여 전문가가 400개의 정교한 프롬프트로 재구성했다. 각 프롬프트는 시각적 요소, 텍스트 내용, 공간적 관계를 상세히 기술하여 모델이 따라야 할 명확한 가이드를 제공한다.

평가의 객관성을 위해 각 프롬프트당 10개의 쉬운 질문과 10개의 어려운 질문으로 구성된 20개의 체크리스트를 생성했다. MLLM(Gemini-3-Flash)을 평가자로 활용하여 생성된 이미지가 체크리스트의 각 항목을 만족하는지 판단한다. [이미지와 질문 입력 → MLLM의 시각적 추론 수행 → Yes/No 답변 도출 → 정답률 계산] 과정을 거쳐 최종 점수를 산출한다. 이때 오답에 대해 감점을 부여하는 페널티 기반 점수 산출 방식을 적용하여 모델 간의 변별력을 확보했다.

지식 기반 작업에서는 물리, 화학, 수학, 역사, 예술의 5개 테마를 다룬다. 예를 들어 화학 슬라이드 생성 시 "망간 이산화물이 촉매로 작용한다"는 핵심 사실을 프롬프트에서 숨기고, 모델이 스스로 이 지식을 반영하여 올바른 화학 반응식과 데이터 테이블을 생성하는지 확인한다. 이는 모델의 파라미터 내부에 저장된 지식이 시각적 렌더링 과정에서 얼마나 정확하게 인출되는지를 평가하는 독특한 설계이다.

Nano Banana Pro와 Nano Banana 2.0이 각각 평균 76.7점과 68.5점(Hard 세트 기준)을 기록하며 압도적인 성능을 보였다. 반면 대부분의 오픈소스 모델은 10점 미만의 낮은 점수를 기록하여 상용 모델과의 큰 격차를 드러냈다. 특히 FLUX.1이나 SD3.5-Large와 같은 인기 모델들도 상업용 문서의 복잡한 제약 조건을 충족하는 데에는 실패하는 모습이 관찰됐다.

도메인별로는 슬라이드와 웹페이지에서 비교적 높은 성능이 나타났으나, 정밀한 수치 렌더링이 필요한 차트와 복잡한 구조의 과학 도표에서는 모든 모델의 성능이 급격히 하락했다. 예를 들어 GPT-Image-1.5는 차트 도메인에서 28.2점에 그쳤는데, 이는 축의 눈금과 데이터 포인트의 위치를 정확히 매칭하는 데 어려움을 겪었기 때문이다.

역량별 분석 결과, 텍스트 렌더링과 지식 기반 추론은 상위 모델들이 잘 수행했으나(80점대), 미세한 공간 제어가 필요한 레이아웃 제어와 속성 결합은 여전히 어려운 과제로 남았다. 특히 '어려운(Hard)' 질문 세트에서는 상위 모델들도 점수가 크게 하락하여, 복잡한 시각적 논리를 일관되게 유지하는 능력이 부족함을 시사했다.

BizGenEval은 상업용 문서의 밀집된 텍스트와 복잡한 레이아웃을 평가하기 위해 설계된 최초의 통합 벤치마크이다. 기존의 GenEval이나 OneIG-Bench가 단순한 객체 배치나 텍스트 렌더링에 치중했던 것과 달리, 다중 제약 조건(Multi-constraint) 환경에서의 성능을 측정한다. 아키텍처 측면에서는 비전-언어 모델(VLM)을 활용한 자동화된 평가 파이프라인을 구축하여 대규모 벤치마킹의 효율성을 높였다.

평가 지표는 Score = max(0, 1 - α * N_errors) 공식을 사용한다. [오답 개수 N_errors 입력 → 페널티 계수 0.2 곱셈 → 1에서 차감 → 0보다 큰 값 출력] 순으로 계산된다. 10개 질문 중 5개 이상 틀리면 해당 트랙의 점수는 0점이 되도록 설계되어, 모델이 우연히 정답을 맞힐 확률을 배제하고 실질적인 역량을 엄격하게 측정한다.

MLLM 평가자의 신뢰성을 검증하기 위해 인간 전문가와의 일치도를 측정했으며, Gemini-3-Flash가 Cohen's Kappa 0.7692를 기록하여 높은 신뢰성을 확보했음을 입증했다. 이는 MLLM이 인간 수준의 시각적 판단 능력을 갖추었음을 보여주며, 향후 이미지 생성 모델 평가의 자동화 가능성을 제시한다. 또한, 프롬프트 구성 시 시각적 속성(Color, Shape, Quantity)과 공간적 속성(Position)을 세분화하여 모델의 약점을 다각도로 분석할 수 있게 했다.

상위 모델들도 복잡한 레이아웃 제어와 정밀한 속성 제어(예: 정확한 개수 세기)에서는 여전히 한계를 보이며, 특히 오픈소스 모델들은 상업용 문서 생성에 필요한 최소한의 요구사항도 충족하지 못하는 경우가 많다.