AI 모델을 괴롭히는 PDF의 비밀: 왜 최첨단 AI도 PDF 읽기에 고전할까?

섹션별 상세

PDF는 텍스트의 논리적 순서가 아닌 좌표와 문자 코드, 그리기 명령어로 구성되어 있어 기계가 구조를 파악하기 어렵다. HTML과 달리 텍스트 간의 관계 정보가 없으며, 오직 종이나 화면에 어떻게 그려져야 하는지에 대한 시각적 정보만 담고 있어 데이터 추출 시 문맥이 꼬이는 현상이 발생한다.

기존의 Optical Character Recognition 기술은 다단 구성이나 표, 각주 등을 처리할 때 텍스트를 단순히 왼쪽에서 오른쪽으로 읽어 데이터가 섞이는 치명적인 결함이 있다. 학술 논문처럼 복잡한 레이아웃을 가진 문서를 OCR로 처리하면 본문과 각주, 표의 내용이 무작위로 뒤섞여 AI 모델이 이해할 수 없는 쓰레기 데이터가 생성된다.

Allen Institute의 olmOCR과 같은 최신 모델은 텍스트 토큰 대신 픽셀 데이터를 직접 처리하는 Vision Language Model을 활용하여 문서의 시각적 구조를 파악한다. 이 모델은 페이지 내 텍스트의 크기와 위치를 바탕으로 헤더, 본문, 표 등을 구분하며, 인간의 전사 데이터를 바탕으로 학습되어 표의 행과 열을 정확히 유지하며 텍스트로 변환한다.

Hugging Face 연구팀은 Common Crawl 데이터셋에서 약 13억 개의 PDF를 식별하고 이를 통해 3조 개의 고품질 토큰을 추출하는 성과를 거두었다. 이는 LLM 학습을 위한 텍스트 데이터가 고갈되어가는 상황에서 PDF가 정부 보고서, 교과서, 학술 논문 등 신뢰도 높은 정보를 담고 있는 핵심적인 데이터 공급원임을 입증한다.

스타트업 Reducto는 자율주행 차량의 객체 인식 기술인 Segmentation 개념을 문서 파싱에 도입했다. 페이지를 헤더, 표, 차트, 각주 등의 엔티티로 먼저 분할한 뒤, 각 요소에 최적화된 전문 모델을 순차적으로 적용하고 최종적으로 Vision Language Model이 오류를 수정하는 다단계 파이프라인을 구축하여 정확도를 극대화했다.

기술

olmOCR
Vision Language Model
Common Crawl
Reducto
Gemini

활용 사례

대규모 법률 문서 분석
학술 논문 데이터셋 구축
기업 내부 PDF 문서의 RAG 통합

언급된 리소스

문서olmOCR: A Specialized PDF-Reading Model

API DocsReducto AI PDF Parsing