IndustryBench-MIPU: 산업용 제품의 다중 이미지 속성 값 추출 벤치마크

산업용 부품의 규격은 표, 명판, 도면 등 다양한 이미지에 분산되어 있으며 이를 하나의 레코드로 완성하려면 텍스트 인식, 시각 추론, 도메인 지식 해석, 다이미지 간의 증거 통합이 필요하다. 기존 벤치마크는 이 네 가지를 동시에 평가하지 못하며, 실제 산업 현장의 완전한 속성 추출은 미해결 문제로 남아 있다. IndustryBench-MIPU는 이러한 문제를 체계적으로 평가하고 cross-image 증거 통합이 핵심 bottleneck임을 밝힌다.

출발점: 산업용 부품의 규격은 표, 라벨, 도면 등 다양한 시각 자료에 산재되어 있어 단일 이미지에서의 정보 추출만으로는 충분하지 않다. 기존 AVE 계열 연구는 텍스트 인식이나 단일 이미지에 집중하거나 소비재 도메인 위주로 한정되어 있어 산업 도메인의 도메인 지식 해석 및 다이미지 간의 증거 통합을 다루지 못한다. 해결 원리: IndustryBench-MIPU는 스키마-제한형 속성 추출을 다중 이미지 입력에 적용해, 각 이미지에서 보이는 속성-값을 모은 뒤 union과 시맨틱 디듀플리케이션으로 구성한다. 다섯 개의 서로 다른 MLLM이 독립적으로 주석을 수행하고 이를 합쳐 이미지 수준의 벤치마크를 구성하며, 이후 모든 이미지의 결과를 통합해 제품 수준 벤치마크를 만든다. 또한 자동-수동 QA를 통해 잘못된 주석을 제거하고 신뢰성을 확보한다. 달라지는 점: 다중 이미지 설정에서의 완전성은 per-image 인식보다 cross-image 증거의 위치와 통합 능력에 좌우된다. 스케일 확장에 따라 단일 이미지에서의 성능은 점진적으로 상승하지만, 다중 이미지에서는 활성 파라미터 수 증가에 따라 급격히 개선되는 양상을 보인다. 이를 통해 현재의 한계가 주로 cross-image 증거 추적 및 다중-값 배열의 완전한 추출에 있음을 확인한다.

데이터 소스: 18개 상위 카테고리를 포함하는 중국 산업용 이커머스 플랫폼에서 4,559개 제품, 27,652개 이미지를 수집하고, 3,564개의 고유 속성 이름과 103,703개의 제품 수준 주석을 확보한다. 두 가지 평가 설정: Single-Image Extraction(단일 이미지에서 보이는 속성-값 추출)과 Multi-Image Extraction(모든 이미지에서의 통합 속성-값 추출). 벤치마크 구성: 5개 MLLM(GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro, Kimi-K2.5-1T-A32B, Qwen 3.5 Plus)을 독립적으로 실행하여 엔티티 인식, 이미지 필터링, Per-Image Extraction의 3단계 파이프라인으로 추출을 수행하고, 이미지 수준 벤치마크를 union으로 구성한 뒤, 다중 이미지에서의 결과를 product 수준으로 합친다. 3단계 QA를 적용하여 후보 주석을 제거하고, Gold-Standard Cross-Check으로 보정하며, 10% 샘플에 대해 인간 검증을 수행한다. 평가 지표는 정확도(Precision), 재현율(Recall), F1로, 속성 이름은 정확한 문자열 매칭, 값은 표준화된 규칙 매핑 후 시맨틱 판단으로 매칭한다. 주요 실험은 다중 이미지 추출에서의 F1이 65.1%에 이르고, 다중 이미지의 recall은 49.9%에 머문다는 점이다. Ablation 연구는 Think-ing 모드, 프롬프트 구성의 차이가 recall과 precision에 미치는 영향을 분석한다. 사례 연구는 dense-spec 이미지에서의 누락 경향을 확인한다.

주요 결과: 다중 이미지 작업에서 Gemini 3.1 Pro가 F1 65.1%로 선두를 차지하며, 그 뒤를 GPT-5.4(60.5%)과 Qwen 3.5 Plus(59.9%)가 잇는다. 다중 이미지에서의 정밀도는 86–94% 범위로 높지만, 최대 재현율은 49.9%에 그친다. 단일 이미지에서의 최상 모델은 Qwen 3.5 Plus로 F1 81.3%를 기록한다. 스케일링 실험에서 Qwen 3.5 Plus의 단일 이미지 F1은 68.7%에서 81.3%로 증가하는 반면, 다중 이미지 F1은 20.6%에서 62.7%로 증가하는 양상을 보인다. 이는 cross-image 증거 통합의 스케일 의존성이 크다는 것을 시사한다. 인용된 서브타입 분석에 따르면 Direct standardized(45.9%), Domain knowledge(44.1%), Multi-value(42.8%), Visual reasoning(36.6%) 순으로 recall이 감소하며, 시각적 추론일수록 가장 낮다. Ablation에서 Simple 프롬프트는 recall를 45.4%에서 52.6%로 올리되 precision은 88.1%에서 77.3%로 하락한다. Thinking 모드는 단일 이미지에서 recall를 9.2pp 개선하나 다중 이미지에서는 효과가 제한적이다. 사례 연구에서는 7장의 이미지를 가진 케이스에서 top 모델의 다중 이미지 recall이 45.0%에 그치고, 23개 벤치마크 속성 중 7개만 매칭되는 등 dense-spec 이미지에서의 누락 현상이 두드러졌다.

아키텍처 개요: IndustryBench-MIPU는 4,559개 제품의 다중 이미지 프로필에서 속성-값을 추출하기 위한 벤치마크로, product profile의 title/e-description/Sx(스키마)와 이미지들의 집합 I(i)로 구성된다. 핵심 목표는 이미지 내 텍스트 인식, 도메인 지식 해석, 시각적 추론, 다이미지 간의 증거 융합을 결합해 schema에 정의된 속성 이름과 값을 산출하는 것이다. 학습이 아닌 평가 설정으로, 결과는 image-level과 product-level 두 가지 스코프에서 평가되며, 속성 이름의 매칭은 exact-match, 값의 매칭은 먼저 Unicode 정규화 및 표준화 후 exact-match를 시도하고, 불일치 시 semantic equivalence를 판단한다. 데이터 소스는 중국 산업 이커머스 플랫폼으로 stratified sampling을 통해 18개 상위 카테고리에서 4,559개 제품과 27,652개 이미지를 확보한다. 주석 산출 파이프라인은 5개 MLLMs이 독립적으로 수행하며, Stage 1: Entity Recognition, Stage 2: Image Filtering, Stage 3: Per-Image Extraction의 3단계를 거친다. 각 이미지에서 추출된 속성-값 쌍은 JSON 형태로 저장되며, 동일 속성에 대해 여러 값이 존재하면 다중 값으로 처리한다. Benchmark Assembly 단계에서 image-level은 5개 모델의 주석을 union하고, surface form을 정규화한 뒤 semantically deduplicate한다. product-level은 모든 이미지의 속성-값들을 합쳐 중복 제거를 수행한다. QA Tier 1 Frontier Model Audit은 검출된 주석의 Hallucination, 엔티티 잘못 지정, 속성-값 유형 불일치, 의미적 불합리성 여부를 규칙으로 판단해Dropped로 제거한다. Tier 2 Gold-Standard Cross-Check은 Gold Attributes로 보강된 속성들을 대체한다. Tier 3 Human Verification은 10% 샘플에 대해 도메인 전문가가 검증한다. 실험 프로토콜은 Multi-Image Extraction를 주 축으로 하되, Single-Image Extraction도 보조로 제공해 localized extraction의 능력을 평가한다. 수치 정의: Precision = |MP|/|P|, Recall = |MG|/|G|, F1 = 2·Precision·Recall/(Precision+Recall). 이 방식으로 속성 이름의 누락과 값의 불일치를 구분한다.

논문은 중국어 데이터로 한정되어 일반화에 한계가 있으며, LLM-루프 주석에서 편향이 남아 있을 수 있다. 제시된 주요 결과는 단일 프롬프트 설정에 의존하며, ablation에서 프롬프트나 추론 모드가 성능에 영향을 미칠 수 있음을 밝힌다.