챕터별 상세
전통적인 PDF 파싱의 원리와 한계
PDF는 텍스트 문서가 아니라 좌표 기반의 그리기 명령 집합이다. PyMuPDF와 같은 라이브러리를 사용하여 텍스트 블록과 Bounding Box 정보를 추출하고, Y축과 X축 좌표를 기준으로 읽기 순서를 정렬하는 로직을 구현했다. 하지만 다단 레이아웃이나 복잡한 표 구조에서는 단순한 휴리스틱 알고리즘만으로 완벽한 Markdown 변환이 어렵다는 한계가 존재한다.
PDF 파일 내부에는 문단이나 표라는 개념이 없으며, 특정 위치에 특정 글자를 그리라는 명령만 들어있음을 이해해야 합니다.
VLM을 활용한 시각적 문서 이해
PDF 페이지를 이미지로 캡처하여 Claude 3.5 Sonnet이나 GPT-4o와 같은 VLM에 전달하는 방식을 사용했다. VLM은 문서의 시각적 레이아웃을 직접 이해하므로 복잡한 표나 차트가 포함된 페이지도 높은 정확도로 Markdown으로 변환한다. 이 방식은 코드가 간결해지고 유연성이 높지만, 하이퍼링크나 메타데이터와 같은 텍스트 기반 정보가 손실될 수 있는 Blind Spot이 존재한다.
VLM은 이미지를 입력받아 텍스트를 생성하는 멀티모달 모델로, OCR 과정 없이 문서의 전체 맥락을 파악합니다.
LlamaIndex Workflow 기반 에이전트 파싱 구현
단순 VLM 호출 시 발생하는 토큰 제한 및 반복 루프 문제를 해결하기 위해 LlamaIndex Workflow를 도입했다. 이벤트 기반 아키텍처를 사용하여 모델이 최대 토큰에 도달하면 이어서 생성하도록 명령하고, 반복적인 텍스트 출력을 감지하면 프롬프트를 수정하여 재시도하는 자가 수정 로직을 구축했다. 이를 통해 수천 줄에 달하는 긴 표가 포함된 문서도 끊김 없이 정확하게 파싱할 수 있다.
LlamaIndex Workflow는 상태 관리와 이벤트 전파를 통해 복잡한 AI 에이전트의 동작을 제어하는 프레임워크입니다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 06.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
