챕터별 상세
02:50
문서 파싱이 어려운 이유와 기술적 배경
전 세계 비구조화 데이터의 상당수가 PDF, 파워포인트, 엑셀 형식에 갇혀 있다. PDF는 인간이 보기에는 직관적이지만 기계에게는 절대적인 좌표 값의 나열일 뿐이라 의미론적 연결이 부족하다. 특히 표와 차트는 시각적 경계와 텍스트 간의 논리적 연결이 없어 단순 OCR로는 정확한 추출이 불가능하다.
08:11
전통적 IDP와 현대적 에이전틱 접근법 비교
과거의 지능형 문서 처리(IDP)는 분류, 추출, 검증 등 수많은 단계를 거치며 인간의 개입이 필수적이었다. 최근에는 VLM(Vision Language Model)을 활용해 문서를 한 번에 처리하려는 시도가 있으나, 데이터 밀도가 높으면 환각이 발생한다. LlamaParse는 레이아웃 분석과 VLM을 결합한 하이브리드 에이전틱 방식을 통해 복잡한 영역을 집중적으로 추론한다.
16:15
라이브 배틀: 금융 보고서 표 추출 성능 비교
Uber의 수익 보고서를 대상으로 Claude 3.5 Sonnet과 LlamaParse의 추출 성능을 실시간으로 비교했다. Claude는 긴 표를 처리하는 도중 중간 행들을 누락(Truncation)하여 152개 행만 추출한 반면, LlamaParse는 242개 행을 모두 정확하게 마크다운으로 변환했다. 이는 LLM이 컨텍스트 길이나 데이터 밀도에 따라 정보를 임의로 생략할 수 있음을 보여준다.
python
from llama_parse import LlamaParse
parser = LlamaParse(
api_key="YOUR_API_KEY",
result_type="markdown",
num_workers=4,
verbose=True,
language="en"
)
documents = parser.load_data("./complex_financial_report.pdf")LlamaParse 라이브러리를 사용하여 복잡한 금융 보고서를 마크다운 형식으로 파싱하는 기본 코드 예시이다.
18:20
LLM의 실패 모드와 안전 필터링 문제
LLM은 데이터 밀도가 높을 때 특정 텍스트를 무한 반복하거나 의미 없는 공백을 출력하는 오류를 범한다. 또한 모델 제공사의 안전 정책(Safety Filter)으로 인해 정상적인 금융 데이터나 레시피 정보가 차단되는 사례가 발생한다. LlamaParse는 이러한 필터링 문제를 우회하고 구조화된 출력을 보장하는 전용 하네스(Harness) 시스템을 갖추고 있다.
19:00
신뢰도 점수(Confidence Score)와 데이터 검증
추출된 데이터의 정확성을 보장하기 위해 각 필드별로 신뢰도 점수를 계산하여 제공한다. 모델의 Logprobs와 시각적 위치 정보를 결합하여 확률 분포를 분석하고, 임계값 이하의 데이터는 주황색으로 표시해 인간이 검토하도록 한다. 이를 통해 RAG 시스템에서 잘못된 정보가 주입되는 것을 사전에 방지하고 시스템의 신뢰도를 높인다.
용어 해설
- 광학 문자 인식(OCR)
- — 이미지나 스캔된 문서 내의 텍스트를 기계가 읽을 수 있는 데이터로 변환하는 기술이다. 전통적인 방식은 복잡한 표나 레이아웃에서 오류가 잦아 최근에는 LLM과 결합된 지능형 방식이 도입되고 있다.
- 시각 언어 모델(VLM)
- — 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 멀티모달 AI 모델이다. 문서의 시각적 구조(표, 차트, 레이아웃)를 파악하여 텍스트 데이터로 정확하게 변환하는 데 핵심적인 역할을 한다.
- 에이전틱 워크플로(Agentic Workflow)
- — AI 모델이 단순한 일회성 응답을 넘어, 스스로 판단하고 도구를 사용하며 작업을 반복적으로 개선하는 실행 방식이다. 문서 파싱에서 모호한 부분을 스스로 재검토하여 정확도를 높이는 데 사용된다.
- 로그 확률(Logprobs)
- — 모델이 특정 토큰을 생성할 때 부여하는 확률 값의 로그 형태이다. 이를 분석하면 추출된 데이터가 얼마나 정확한지 신뢰도(Confidence Score)를 수치화하여 검증할 수 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 27.수집 2026. 03. 29.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
