RAG 파이프라인 병목 해결을 위한 LongParser v0.1.5 업데이트

실용적 조언

RAG 시스템 구축 시 고정 크기 청킹 대신 의미론적 청킹을 적용하여 검색 품질을 개선할 수 있다.
데이터 인입 단계에서 비동기 워커를 활용해 무거운 LLM 요약 작업을 처리하면 파이프라인 전체의 처리 속도를 높일 수 있다.

섹션별 상세

고정된 토큰 제한 방식에서 벗어나 의미론적 청킹을 도입했다. all-MiniLM-L6-v2 모델을 활용해 텍스트 블록 간의 코사인 유사도를 추적하며, 실제 주제가 전환되는 지점에서만 분할을 수행하여 문맥을 보존한다. 이를 통해 검색 시 관련 정보가 잘리는 문제를 방지하고 데이터의 일관성을 확보했다.

문서 내 상호 참조를 해결하기 위해 O(N) 단일 패스 알고리즘을 구현했다. '그림 3 참조' 또는 '아래 표'와 같은 내부 참조를 실제 데이터 블록과 직접 연결하여 문서의 관계형 구조를 유지한다. 검색 결과에서 참조 대상이 누락되는 현상을 줄여 LLM의 응답 정확도를 개선했다.

무거운 ML 모델 대신 고속 휴리스틱 스코어러를 사용한 OCR 필터링 체계를 구축했다. OCR 신뢰도 평균, 사전 유효성 검사, fastText 언어 식별을 결합하여 깨진 텍스트가 벡터 DB를 오염시키는 것을 차단한다. 저사양 환경에서도 빠르게 작동하며 데이터 품질을 유지하는 것이 핵심이다.

데이터가 DB나 LLM에 도달하기 전 개인정보(PII)를 마스킹하는 2단계 비식별화 엔진을 도입했다. 정규표현식과 Luhn 알고리즘으로 구조화된 데이터를 검증하고, spaCy NER을 통해 문맥상의 민감 정보를 마스킹한다. 원본 데이터는 숨겨진 메타데이터에 안전하게 보관하여 필요 시에만 활용 가능하다.

비동기 요약 청킹을 통해 계층적 검색을 지원하면서도 파이프라인 속도를 유지했다. 무거운 LLM 요약 호출 작업을 ARQ와 Redis 기반의 백그라운드 워커로 분리하여 메인 파싱 프로세스가 멈추지 않도록 설계했다. 이를 통해 대량의 문서 처리 시에도 안정적인 처리량을 보장한다.

용어 해설

의미론적 청킹(Semantic Chunking): — 텍스트를 고정된 토큰 수로 나누는 대신 문맥의 의미가 변하는 지점을 찾아 분할하는 기법이다. 임베딩 모델을 사용해 텍스트 블록 간 유사도를 측정함으로써 주제의 일관성을 유지하고 검색 정확도를 높인다.
개인식별정보 비식별화(PII Redaction): — 주민등록번호, 신용카드 번호 등 민감한 개인 정보를 데이터베이스 저장이나 LLM 전송 전에 마스킹하거나 제거하는 보안 절차이다. 정규표현식이나 개체명 인식 기술을 활용해 데이터 유출 위험을 방지한다.
계층적 검색(Hierarchical Retrieval): — 전체 문서의 요약본을 먼저 검색한 뒤 관련 있는 세부 청크로 접근하는 다단계 검색 방식이다. 방대한 데이터셋에서 검색 효율성을 높이고 문맥 손실을 최소화하기 위해 사용된다.
OCR 필터링(OCR Filtering): — 광학 문자 인식 과정에서 발생하는 오타나 깨진 텍스트를 걸러내는 전처리 과정이다. 사전 검증이나 언어 식별 기술을 활용해 벡터 DB에 저질 데이터가 유입되는 것을 차단한다.

언급된 도구

LongParser추천

RAG 아키텍처를 위한 문서 인입 및 파싱 관리

all-MiniLM-L6-v2추천

텍스트 블록 간 코사인 유사도 측정을 통한 의미론적 청킹 구현

spaCy추천

개체명 인식(NER)을 통한 개인정보 마스킹