PageIndex: 임베딩과 청킹 없는 98.7% 정확도의 벡터리스 RAG 기술

커뮤니티 반응

새로운 접근 방식에 대한 관심이 높으며, 특히 벡터 검색의 한계를 경험한 개발자들 사이에서 트리 구조 탐색의 실효성에 대한 논의가 시작되었다.

주요 논점

01찬성다수

전통적인 청킹 방식의 문맥 손실 문제를 해결할 수 있는 혁신적인 구조화 방법이다.

합의점 vs 논쟁점

합의점

긴 문서에서 단순 벡터 검색만으로는 정확한 컨텍스트를 유지하기 어렵다.

실용적 조언

긴 PDF 문서에서 검색 정확도가 낮다면 고정 크기 청킹 대신 문서 구조를 반영한 계층적 요약 인덱스 도입을 고려할 것
벡터 검색의 한계를 극복하기 위해 LLM이 직접 목차를 탐색하게 하는 에이전트 방식의 내비게이션 활용

섹션별 상세

기존 RAG 방식은 300페이지 이상의 긴 PDF 문서에서 고정 크기 청킹과 벡터 검색을 사용할 경우 관련 섹션을 잘못 찾는 문제가 빈번하게 발생한다. PageIndex는 이를 해결하기 위해 임베딩이나 벡터 DB를 전혀 사용하지 않는 '벡터리스(Vectorless)' 방식을 채택했다. 문서를 분석하여 요약 정보와 페이지 범위를 포함한 JSON 형태의 계층적 트리 구조인 스마트 목차(Smart ToC)를 생성하는 것이 핵심이다.

LLM 기반의 내비게이션 메커니즘은 사람이 전문가처럼 목차를 훑어보며 필요한 정보를 찾는 과정을 모방한다. LLM이 쿼리를 받으면 최상위 요약부터 시작해 관련 섹션으로 단계별로 접근하는 드릴다운(Drill-down) 탐색을 수행한다. 이 과정을 통해 최종적으로 정확한 페이지 범위를 찾아 답변을 생성하며, 특히 10-K 보고서나 법률 문서처럼 구조가 복잡한 긴 문서에서 탁월한 성능을 발휘한다.

이 기술은 VectifyAI가 구축했으며 Mafin 2.5 모델에 적용되어 FinanceBench에서 98.7%라는 높은 정확도를 기록했다. 작성자는 실제 긴 문서 환경에서 이 트리 내비게이션 방식이 기존의 하이브리드 벡터 및 키워드 검색 설정과 비교해 어느 정도의 효율성을 갖는지 커뮤니티의 실무 경험을 묻고 있다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 대규모 언어 모델의 답변 생성에 활용하는 기법이다. 모델의 할루시네이션을 줄이고 최신 정보를 반영하는 데 필수적이다.
청킹(Chunking): — 긴 텍스트를 모델이 처리할 수 있는 작은 단위로 분할하는 전처리 과정이다. 고정 크기 청킹은 문맥 단절을 초래하여 검색 정확도를 떨어뜨리는 원인이 되기도 한다.
벡터 데이터베이스(Vector Database): — 데이터를 고차원 벡터로 변환하여 저장하고 유사도 기반 검색을 수행하는 시스템이다. 전통적인 RAG 시스템의 핵심 구성 요소로 사용된다.
계층적 트리 인덱스(Hierarchical Tree Index): — 데이터를 상위 요약부터 하위 세부 내용까지 트리 구조로 조직화한 인덱스이다. LLM이 목차를 훑듯이 단계적으로 정보를 탐색할 수 있게 한다.

언급된 도구

PageIndex추천

벡터리스 계층적 RAG 인덱싱 도구

Mafin 2.5추천

PageIndex 기술이 적용된 금융 특화 AI 모델

언급된 리소스

문서PageIndex: Vectorless Human-like RAG for Long Documents