PageIndex vs 전통적 RAG: 문서 챗봇 구축을 위한 더 나은 방법

섹션별 상세

전통적인 RAG는 고정된 토큰 수로 문서를 자르는 임의적 청킹으로 인해 표나 각주 같은 중요한 문맥이 파괴되는 한계를 가진다.

벡터 유사도 검색은 질문과 본문의 단어가 다를 경우 관련 정보를 놓치기 쉬우며, 검색 결과에 대한 논리적 근거를 제시하지 못하는 블랙박스 구조이다.

PageIndex는 문서를 검색하는 대신 인간 전문가처럼 탐색하는 방식을 도입하여, 문서 전체의 계층 구조와 요약을 담은 추론 트리를 구축한다.

LLM은 본문 전체가 아닌 트리의 제목과 요약 정보만을 먼저 읽고 답변이 포함되었을 가능성이 높은 노드 ID를 논리적으로 식별한다.

검색 단계가 수학적 연산이 아닌 LLM의 인지적 판단으로 수행되므로, 질문과 문서의 표현이 달라도 의미적 매칭이 정확하게 이루어진다.

모든 답변은 트리의 특정 노드와 연결되어 있어 답변의 근거가 되는 페이지와 섹션을 명확히 추적할 수 있는 높은 설명 가능성을 제공한다.

VectifyAI의 금융 시스템에 적용된 결과, 복잡한 재무 질문을 다루는 FinanceBench 벤치마크에서 98.7%라는 기록적인 정확도를 달성했다.

bash

%pip install -q --upgrade pageindex

PageIndex 라이브러리 설치 방법

검색 증강 생성(RAG): — 외부 데이터베이스에서 질문과 관련된 정보를 검색하여 대형 언어 모델의 답변 생성에 활용하는 기술이다. 모델의 학습 데이터에 없는 최신 정보나 특정 도메인의 지식을 보완하여 답변의 정확도를 높이고 환각 현상을 줄이는 데 필수적인 역할을 한다.
청킹(Chunking): — 긴 문서를 모델이 한 번에 처리할 수 있는 크기로 나누는 과정이다. 전통적인 RAG에서는 고정된 토큰 수로 문서를 자르는데, 이 과정에서 문단이나 표의 맥락이 끊겨 답변의 품질이 저하되는 문제가 자주 발생한다.
추론 트리(Reasoning Tree): — PageIndex 기술의 핵심 개념으로, 문서의 계층 구조를 AI가 이해할 수 있는 트리 형태로 구성한 인덱스이다. 각 노드는 섹션 제목과 요약을 포함하며, LLM이 본문 전체를 읽기 전 목차를 훑어보듯 답변의 위치를 논리적으로 추론할 수 있게 돕는다.
파이낸스벤치(FinanceBench): — 금융 문서에 대한 AI 모델의 답변 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 수백 페이지에 달하는 복잡한 재무 보고서와 표 데이터가 포함되어 있어, 일반적인 RAG 시스템이 가장 통과하기 어려운 고난도 평가 지표로 꼽힌다.