ExtractBench 기업 문서 추출 벤치마크

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

ExtractBench는 실문서 370건(4,869페이지), 67개 유형, 8개 도메인을 포함해 문서 추출을 정확도·근거 연결(visual grounding)·입력 인식 상태·긴 목록 완전성·비용까지 동시 측정하는 공개 재현 가능한 벤치마크이다. 정답 키는 합의 기반 자동 후보와 사람 리뷰, 합성 긴 목록 등 세 가지 검증 파이프라인으로 구축되어 근거 편향을 낮추었다. 14개 시스템 비교에서 LlamaExtract Agentic Plus가 전체 가치 F1 95.6%와 페이지당 8.1센트로 선두를 차지했으며 긴 문서와 스캔·손글씨에서도 상대적으로 안정적 성능을 보였다. 그러나 단어 수준 근거 정확도는 여전히 낮아 근거 제공 기능 개선이 우선 과제로 남았다.

빠른 이해

새로운 점

실문서 규모·다축 평가(정확도·근거·비용)·긴 목록 완전성을 동시에 측정하는 공개 재현 가능한 벤치마크라는 점이 새로움 신호이다.

핵심 메커니즘

고정 스키마를 런타임 입력으로 주고 실문서 코퍼스에서 필드별 값과 근거 박스를 수집한 후 다축(난이도·인식·표 구조·길이·도메인)으로 분해해 시스템별 F1과 grounding을 계량하는 평가 파이프라인.

핵심 수치

코퍼스 규모: 370 documents / 4,869 pages
문서 유형: 67 types across 8 domains
평가 시스템 수: 14 systems
Top overall value F1: 95.6%- LlamaExtract Agentic Plus
Agentic Plus 비용: 8.1¢/page- 가치 대비 비용 측정치

섹션별 상세

ExtractBench 개요

기업용 문서 추출의 현실적 요구를 재현하기 위해 실문서 코퍼스를 모아 벤치마크를 구축했다. 데이터셋은 370개 실문서, 총 4,869페이지, 8개 비즈니스 도메인과 67개 문서 유형으로 구성되어 있으며 각 유형에 대해 고정된 스키마를 적용해 평가가 가능하다. 벤치마크는 정확도뿐 아니라 근거 연결(visual grounding), 스캔·손글씨 같은 인식 입력 변형, 긴 목록 완전성, 그리고 페이지당 비용까지 동시 측정하도록 설계되었다.

요약 카드: 370개 문서, 4,869 페이지, 67문서 유형, 14개 시스템 — Infographic첫 번째 이미지는 벤치마크 범위와 규모를 한눈에 보여주는 요약 카드로, 평가 코퍼스가 실문서 370건과 4,869페이지로 구성되었음을 명확히 제시한다. 또한 문서 유형 수(67)와 평가한 시스템 수(14)를 시각적으로 강조해 실험의 범위와 비교 대상의 폭을 입증한다. 이 이미지는 데이터 규모와 다중 시스템 비교라는 본문 주장에 직접적 근거를 제공한다.

근거

ExtractBench는 370개 실문서, 4,869페이지, 67개 문서 유형, 8개 도메인으로 구성되어 있다. — 페이지 상단 요약 카드(통계) 및 'ExtractBench corpus' 섹션의 문장들, 이미지 1·2

평가 축과 난제

벤치마크는 다섯 개 독립 축으로 점수를 분리해 문제 원인을 추적할 수 있게 구성했다. 추출 난이도(task challenge)는 반복 레코드·긴 공시·고밀도 양식 같은 문서 자체의 난제를, 인식(perception)은 스캔·손글씨·회전 여부로 입력 상태를 구분해 각각 점수로 산출한다. 표 구조 문제(병합 헤더·페이지 간 연속 표·셀 내 표 등)와 문서 길이(짧음·중간·긴 문서)는 추출 완전성과 연결 로직의 취약점을 드러내기 때문에 각 축을 별도로 계량해 원인별 성능 차이를 보여준다.

코퍼스 분포와 문서 특성(도메인, 길이, 인식 유형, 표 구조, 최대 필드·페이지 수 등) — Infographic두 번째 이미지는 코퍼스의 세부 구성(도메인별 문서 수, 문서 길이 분포, 스캔·손글씨 등 인식 유형 비율, 표 구조 유형, 최대 필드·페이지 수)을 계량적으로 정리해 벤치마크가 다양한 현실 케이스를 포함함을 뒷받침한다. 최대 필드 수 1,359, 한 문서당 최대 페이지 192, 인간 검증된 문서 169건과 필드의 84%에 박스 근거가 있다는 수치가 명시돼 있어 정답 키의 범위와 한계를 동시에 보여준다. 이 근거는 장문·대규모 표·스캔 문서 같은 실제 문제를 다루려는 설계 의도를 지지한다.

표형식 반복 엔티티 추출을 개념적으로 보여주는 다이어그램(테이블→레코드 묶음) — Diagram다섯 번째 이미지는 표에서 반복 엔티티를 분리해 레코드 단위로 재조립하는 흐름을 그래픽으로 나타내며, 긴 목록 완전성 문제와 레코드 조립 단계의 중요성을 시각적으로 보강한다. 입력은 표 이미지·텍스트이고 처리 과정은 행 추출·컬럼 정렬·레코드 그룹화로 나뉘며 출력은 정규화된 레코드 집합이라는 점을 한눈에 알 수 있다. 이 그림은 긴 표를 완전하게 회수하는 것이 문서 추출의 핵심 기술 과제임을 강조한다.

Parse vs Extract 개념 비교 이미지 — Diagram여섯 번째 이미지는 문서 처리 접근법 차이를 개념적으로 구분해 Parse(문서 전체를 파싱해 구조화)와 Extract(필드 단위로 필요한 값만 추출) 두 흐름의 입력·출력 차이를 시각적으로 정리한다. 이 비교는 스키마 기반 추출이 추출 위주 전략에서 어떻게 비용·정확도 트레이드오프를 관리하는지를 이해하는 데 유용하다. 벤치마크가 스키마를 주고 시스템에 값을 요구하는 설계 선택의 근거로 활용될 수 있다.

정답(ground truth) 구축 방식

정답 키는 세 가지 독립 파이프라인으로 만들었으며 어떤 시스템의 단일 출력도 자동 참조하지 않았다. 실제 문서는 여러 계열 모델을 돌려 공통으로 일치한 값들을 후보로 모으고 불일치 지점은 사람이 문서를 확인해 판정했으며, 긴 목록은 데이터 우선 방식으로 합성해 렌더링 전 값이 완전히 알려진 상태에서 정확도를 정밀 측정했다. 규정 양식은 리뷰어가 모든 필드를 수작업으로 검증하고 박스를 배치해 전체 문서의 84% 필드에 대해 박스 근거를 확보했다.

주요 결과와 수치

14개 시스템을 세 범주(최첨단 VLM 기반 구조화 API, 코딩 에이전트, 전문 추출 API)로 시험해 LlamaExtract의 Agentic Plus 티어가 전체 가치 F1 95.6%로 선두를 차지했고 페이지당 비용은 8.1센트로 보고되었다. 문서 길이에 따라 성능 분화가 뚜렷했으며 50페이지 이상의 장문에서는 상용 VLM들이 재현율 35% 아래로 떨어진 반면 Agentic Plus는 긴 문서에서도 약 94.4%를 유지해 긴 목록 완전성에서 우위를 보였다. 인식 입력별 결과에서도 Agentic Plus는 회전·스캔·손글씨 항목에서 각각 95.9%, 93.9%, 93.8%의 값 정확도를 기록해(자료 표 참조) 전 영역에서 안정적 성능을 보였다.

인식별(value accuracy) 성능 표: LlamaExtract Agentic Plus와 타 시스템 비교(회전·스캔·손글씨) — Chart세 번째 이미지는 인식 입력별 가치 정확도를 자세히 보여주며 Agentic Plus가 회전·스캔·손글씨에서 각각 95.9%, 93.9%, 93.8%를 기록했다고 표로 제시한다. 같은 표에는 Codex(GPT-5.5) 등 다른 시스템의 항목별 수치도 있어 입력 유형에 따른 시스템별 강·약점을 비교할 수 있게 한다. 이 자료는 '입력 상태가 결과에 미치는 영향'을 정량적으로 확인할 수 있는 근거로 쓰인다.

근거

LlamaExtract Agentic Plus가 전체 가치 F1 95.6%를 기록했고 페이지당 비용은 8.1센트이다. — 결과 표의 전체 점수 행과 비용 열, 이미지 1 및 결과 표(Top overall score, cost)에서 확인 가능
50페이지 이상 장문에서는 상용 VLM들이 재현율이 35% 이하로 떨어지는 반면 Agentic Plus는 94.4%를 유지했다. — 본문의 길이별 성능 단락 및 반복 레코드·긴 문서 표에서 수치 검토, 이미지 3(긴 문서 항목)

시각적 근거와 남은 과제

근거 연결(grounding)은 분야 전체의 남은 약점으로 측정 항목에서 뚜렷하게 드러났다. VLM과 일부 코딩 에이전트는 기본 설정에서 근거 박스를 반환하지 않아 grounding 점수가 0으로 집계되었고, 근거를 반환하는 시스템들 가운데서는 Agentic Plus가 페이지 수준과 단어 수준 모두에서 최고치를 기록했으나 단어 수준 정확도(예시: 46.4%)는 아직 제한적이었다. 이 결과는 값 자체의 정밀도와 근거 제공 능력을 분리해 개선 우선순위를 정할 필요성을 시사한다.

시각적 근거(visual grounding) 성능 표: 페이지 수준과 단어 수준 정확도 — Chart네 번째 이미지는 visual grounding의 페이지 수준 정확도(예: Agentic Plus 84.9%)와 단어 수준 정확도(예: Agentic Plus 46.4%)를 나열해 근거 연결 성능의 계층별 차이를 드러낸다. 페이지 수준에서는 비교적 높은 수치가 관찰되는 반면 단어 수준은 낮아 실질적 근거 신뢰도의 한계가 존재함을 수치로 증명한다. 이 이미지는 근거 제공 유무와 정밀도라는 서로 다른 문제를 분리해 봐야 한다는 결론을 지지한다.

비용-정확도 트레이드오프와 재현성

대규모 운영에서 페이지당 비용 차이는 연간 수만 달러 단위의 영향으로 이어지기 때문에 정확도 대비 비용 효율성을 함께 고려해야 한다. 실험 결과 가격이 높다고 정확도가 항상 높은 것은 아니며, LlamaExtract Agentic Plus는 상위 정확도를 낮은 비용으로 달성해 달러당 정확도 측면에서 우위를 보였다. 모든 데이터, 평가 허브, 스키마와 결과 파이프라인은 공개(데이터셋은 HuggingFace, 코드·허니스는 GitHub, 논문은 arXiv)되어 있어 동일한 입력으로 사용자가 자체 시스템을 재현해 비교할 수 있다.

LlamaCloud Extract의 인보이스→JSON 흐름 예시 — Diagram일곱 번째 이미지는 인보이스 문서에서 추출된 값을 JSON 구조로 반환하는 예시를 제시해 스키마 지향 추출의 표준적 출력 형식을 보여준다. 이 예시는 실제 운영에서 추출기가 downstream agent·데이터베이스와 어떻게 연결되는지를 직관적으로 드러내며, 출력의 구조화와 근거 연결이 자동화된 워크플로에서 어떤 역할을 하는지 설명한다. 벤치마크 결과를 실제 파이프라인에 적용할 때 기대되는 입력·출력 인터페이스의 형태를 보강한다.

용어 해설

문서 추출(Document extraction): — 기업 문서에서 표, 양식, 본문 등 구조화되지 않은 정보를 규정화된 스키마로 뽑아내는 작업으로, 입력 PDF·스캔·손글씨를 받아 필드값과 그 근거 위치(box)를 반환한다. 이 과정은 OCR·layout parsing·엔티티 정규화·레코드 조립을 연속적으로 수행하며, 배포 환경에서는 완전성(completeness)과 정합성(grounding)을 함께 만족해야 한다. ExtractBench는 이 작업을 대규모 실문서 코퍼스로 재현해 정확도와 근거 추적성, 비용을 동시 측정한다.
시각적 근거 연결(Visual grounding): — 추출한 값이 문서 내부의 어느 페이지·어느 박스에서 뽑혔는지 좌표(혹은 page-level)를 함께 반환하는 능력으로, 값의 신뢰도를 판단하기 위한 핵심 요소이다. 입력(이미지 페이지)→위치 검색·박스 매칭→값 연결의 파이프라인으로 처리되며, 페이지 수준과 단어 수준의 두 계층으로 평가될 수 있다. ExtractBench는 page-level과 word-level grounding을 별도로 채점해 근거 제공 여부와 정확도를 분리해 계측한다.
스키마 기반 추출(Schema-guided extraction): — 운영 스키마를 추론하지 않고 외부에서 주어진 필드 정의(스키마)를 추출기 입력으로 받아 그 스키마에 맞춰 값을 찾아내는 방식이다. 입력으로 스키마를 받음으로써 새로운 문서 유형에 대해 런타임에 대응할 수 있으나, 긴 목록 완전성이나 표 구조 문제 등 현실 과제는 별도로 남는다. ExtractBench는 각 문서 유형마다 고유 스키마를 주고 시스템이 이를 처리하는 성능을 측정한다.
인식 입력 변형(Perception challenges): — 문서가 어떤 상태로 들어왔는지(born-digital, 스캔, 손글씨, 회전·이미지 전용 등)에 따라 같은 필드가 전혀 다른 오류 모드를 보이는 현상이다. 입력 이미지 품질·회전·스머지·글씨체 변화가 OCR/비전 파이프라인에 미치는 영향을 분리해 평가해야 실서비스 리스크를 가늠할 수 있다. ExtractBench는 이 축을 독립적 평가 차원으로 두어 각 시스템의 약점을 명확히 드러낸다.
긴 목록 완전성(Long-list completeness): — 수천 행에 달하는 반복 레코드 표에서 누락 없이 모든 행을 찾아내어 스키마에 맞게 조립하는 능력으로, 읽기 정확도뿐 아니라 페이징·레코드 연결 로직의 견고성이 측정된다. 입력(여러 페이지 표)→행 분할·컬럼 정렬·레코드 병합→출력(완전한 레코드 집합) 흐름에서 누락 비율과 정합성 지표로 평가한다. ExtractBench는 최대 26,725행 문서를 포함해 이 역량을 계측한다.

기술

LlamaExtract
VLMs
coding agents
HuggingFace
GitHub

언급된 리소스

문서ExtractBench dataset on HuggingFace

GitHubExtractBench evaluation code (GitHub)

논문ExtractBench paper (arXiv)

문서원문 링크