RAG 성능을 결정짓는 핵심 요소: 멀티 윈도우 청킹 기법

• •청킹은 RAG 시스템의 검색 정확도를 결정하는 결정적 요소임
• •대부분의 벤치마크와 기본 설정은 고정된 윈도우 크기를 가정함
• •단일 윈도우 방식은 질문의 다양성을 수용하기에 부족함

청킹은 긴 텍스트를 모델이 처리할 수 있는 작은 단위로 나누는 과정이며, RAG에서는 이 단위가 검색의 최소 단위가 된다.

• •큰 청크는 문맥을 유지하지만 세부 정보를 놓치기 쉬움
• •작은 청크는 세부 정보는 강하지만 문맥 손실이 발생함
• •데이터의 특성에 따라 최적의 청크 크기가 매번 달라짐

Contextual Retrieval은 각 청크에 전체 문서의 맥락 정보를 추가하여 소형 청크의 정보 손실을 보완하는 기법이다.

• •하나의 데이터셋을 여러 개의 서로 다른 윈도우 크기로 중복 인덱싱함
• •질문마다 최적의 청크 크기가 다르다는 가설을 실험으로 증명함
• •오프라인 단계의 투자를 통해 실시간 검색 성능을 개선함

이 방식은 전형적인 시간-메모리 트레이드오프 사례로, 인덱싱 비용을 늘려 검색 품질을 확보한다.

• •RRF를 사용하여 서로 다른 인덱스의 검색 결과를 효과적으로 결합함
• •MTEB 및 FinanceBench 등 주요 벤치마크에서 성능 향상을 확인 함
• •질문의 성격에 따라 적절한 크기의 청크가 우선순위를 얻음

RRF는 여러 검색 알고리즘의 결과를 순위 기반으로 결합하여 점수 체계가 다른 검색 엔진 간의 결과를 공정하게 통합한다.

• •잘못된 인덱싱은 에이전트의 성능에 천장을 만듦
• •단순 RRF를 넘어 문서 길이를 고려한 퓨전 방식 개선이 필요함
• •인덱싱 비용과 검색 성능 사이의 최적점을 찾는 연구가 지속될 것임

Query Rewriting은 사용자의 질문을 검색에 더 적합한 형태로 변환하는 기법이다.