LangGraph 기반의 오픈소스 문서 파싱 엔진 LongParser 공개

실용적 조언

RAG 성능이 낮다면 임베딩 모델을 바꾸기 전에 파싱된 텍스트의 구조와 표 추출 상태를 먼저 점검하라.
LangGraph의 중단(breakpoint) 기능을 활용하여 데이터 파이프라인 중간에 검증 단계를 구축하라.

섹션별 상세

기존 문서 로더의 한계를 극복하기 위해 LangGraph 기반의 상태 관리 아키텍처를 도입했다. 선형적인 스크립트 방식 대신 그래프 구조를 사용하여 텍스트, 테이블, 수식 등을 추출한 후 파이프라인을 일시 중단하고 인간의 승인을 기다리는 Human-in-the-Loop 워크플로우를 구현했다. 이를 통해 데이터가 벡터 저장소에 들어가기 전 구조적 오류를 수정할 수 있어 LLM의 환각 현상을 사전에 방지한다.

문서 구조에 최적화된 6가지 하이브리드 청킹 전략을 제공한다. 시스템은 입력된 문서의 특성에 따라 토큰 기반, 계층 구조 기반, 테이블 인식형, 의미론적 청킹 등 적절한 전략을 자동으로 라우팅하여 처리한다. 결과물은 단순 텍스트가 아닌 블록 타입과 계층 구조 정보가 포함된 풍부한 메타데이터를 동반하여 검색 정확도를 높인다.

python

from longparser import PipelineOrchestrator
from longparser.integrations.langchain import LongParserRetriever

# The pipeline handles the LangGraph-powered ingestion
pipeline = PipelineOrchestrator()

# Drop-in replacement for standard retrievers
retriever = LongParserRetriever(
    pipeline=pipeline,
    file_path="complex_research_paper.pdf"
)

# Returns structured documents with rich metadata (block type, hierarchy)
results = retriever.get_relevant_documents("What is the methodology?")

LongParser를 LangChain 리트리버로 통합하여 복잡한 PDF 문서를 구조화된 형태로 검색하는 예시

LangChain 생태계와의 원활한 통합을 위해 전용 리트리버 인터페이스를 지원한다. LongParserRetriever 클래스를 사용하면 기존 LangChain 코드의 리트리버를 손쉽게 교체할 수 있으며, PDF뿐만 아니라 DOCX, PPTX, XLSX, CSV 등 다양한 포맷과 LaTeX 수식 OCR까지 로컬 환경에서 처리 가능하다.

용어 해설

인간 참여형 루프(Human-in-the-Loop): — AI 시스템의 학습이나 운영 과정에 인간이 직접 개입하여 데이터를 검토, 수정 또는 승인하는 설계 방식이다. 이 아티클에서는 문서 파싱 결과가 벡터 저장소에 저장되기 전 인간이 구조화된 데이터를 확인하여 검색 품질을 보장하는 단계를 의미한다.
추출, 변환, 적재(ETL): — 데이터 소스로부터 데이터를 추출(Extract)하고, 목적에 맞게 변환(Transform)한 뒤, 최종 저장소에 적재(Load)하는 데이터 처리 프로세스이다. LLM 애플리케이션에서는 복잡한 문서를 청크로 나누고 임베딩하여 벡터 DB에 넣는 과정을 ETL 워크플로우로 관리한다.
하이브리드 청킹(Hybrid Chunking): — 문서의 특성에 따라 토큰 단위, 계층 구조, 테이블 인식, 의미론적 분석 등 여러 분할 전략을 혼합하여 사용하는 기법이다. 단순한 고정 길이 분할보다 문서의 논리적 구조를 더 잘 보존하여 검색 정확도를 높이는 데 기여한다.

언급된 도구

LongParser추천링크

LangGraph 기반의 오픈소스 문서 파싱 및 데이터 인입 엔진

LangGraph추천

파이프라인의 상태 관리 및 Human-in-the-Loop 워크플로우 구현

언급된 리소스

GitHubLongParser GitHub Repository

문서LongParser Documentation