멀티 KB RAG의 검색 범위 선택

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Knowledge Base가 몇 개뿐일 때는 각 저장소에서 상위 문서를 가져와 RRF 같은 방식으로 합치는 구조가 합리적일 수 있지만, 10개 이상으로 늘어나면 서로 다른 검색 분포와 문서 규모를 하나의 순위로 비교해야 하는 문제가 생깁니다. 고정된 유사도 임계값도 코퍼스마다 점수 분포가 다르기 때문에 일관된 필터로 작동하지 않을 수 있으며, 그 결과 검색 자체는 좋아도 Knowledge Base 간 순위와 최종 문맥 선택이 나빠질 수 있습니다. 글쓴이는 모든 저장소를 조회한 뒤 결과를 합치는 대신 질의를 먼저 라우팅하고 선택된 Knowledge Base에서 병렬 검색한 다음 재순위화와 생성을 수행하는 구조에 관심을 둡니다. 다만 라우터 오류와 여러 도메인에 걸친 질의에는 별도 대응이 필요하므로, 실제 운영 환경에서는 라우팅과 전역 검색, 점수 정규화, Cross-Encoder 재순위화, 계층형 검색을 어떤 조합으로 사용할지가 핵심 과제로 남습니다.

섹션별 상세

01

글쓴이는 Knowledge Base가 소수일 때 RRF 같은 결과 융합이 실용적이지만, 10개 이상이면 단순한 문서 순위 비교가 아니라고 봅니다. 각 저장소는 검색 점수 분포와 도메인, 코퍼스 규모가 다르므로 모든 곳의 top-1 결과가 비슷한 융합 기여를 받을 수 있습니다. 고정 유사도 임계값까지 적용하면 저장소별 점수 차이를 보정하지 못해 검색 결과는 양호해도 Knowledge Base 간 순위와 최종 문맥 선택이 나빠질 수 있습니다.

02

검색 범위를 먼저 좁히는 대안은 질의에서 관련 Knowledge Base를 선택한 뒤 해당 저장소만 검색하고, 후보 문서를 재순위화한 다음 생성하는 흐름입니다. 입력 질의는 라우터 또는 분류기를 거쳐 대상 저장소 목록으로 바뀌고, 선택된 저장소에 병렬 검색을 수행한 결과가 재순위화와 생성 단계로 전달됩니다. 이 구조는 불필요한 문서와 검색 비용을 줄이는 방향이지만, 라우터가 잘못 판단하면 필요한 Knowledge Base가 처음부터 제외되고 여러 도메인을 가로지르는 질의에는 범위를 넓히는 보완책이 필요합니다.

03

글에서는 Lyzr Studio, LlamaIndex, LangChain 및 custom stack을 비교하면서 특정 공급자의 추상화보다 수십 개 지식 소스와 실제 운영 트래픽을 견디는 아키텍처를 기준으로 삼습니다. Lyzr Studio의 Knowledge Base는 agentic multi-step retrieval과 관련 Knowledge Base를 먼저 선택해 병렬로 검색하는 one-shot 방식을 모두 지원하는 사례로 제시됩니다. 글쓴이는 routing/classification, global retrieval과 RRF, score normalization, Cross-Encoder reranking, hierarchical retrieval 또는 이들의 hybrid 구성이 실제 환경에서 어떤 절충점을 만드는지 묻고 있습니다.

이미지 분석

Diagram
검색 계획이 유효하지 않거나 질문처럼 보이지만 검색이 필요한 경우 retrieve-all fallback으로 우회하며, 병렬 검색 결과가 비어 있으면 필터를 제거하고 한 번 재시도하는 분기가 포함되어 있습니다. 이 구조는 선택적 라우팅과 전체 검색 fallback을 함께 두어 라우터 오류와 검색 실패를 보완하려는 글의 multi-KB RAG 논점과 직접 연결됩니다.
질의를 Plan 단계에서 검증한 뒤 검색 필요 여부를 판단하고, parallel fan-out으로 검색한 결과를 score merge와 answer 단계로 보내는 흐름도입니다.

Diagram
정상 경로에서는 검색이 필요한 질의를 병렬로 처리하고, 결과가 비어 있으면 필터를 제거해 재검색한 뒤 결과를 병합합니다. 전체 검색 fallback과 score merge를 함께 배치한 점이 Knowledge Base 선택 오류와 cross-KB 결과 통합 문제를 동시에 다루는 설계로 이어집니다.
질의 검증, 검색 필요성 판단, 병렬 fan-out, 전체 검색 fallback, score merge와 응답 생성을 연결한 RAG 제어 흐름도입니다.

용어 해설

다중 지식베이스 RAG(Multi-KB RAG): — 여러 개의 독립적인 Knowledge Base에서 관련 문서를 찾아 하나의 생성 모델 입력으로 결합하는 검색 증강 생성 구조입니다. 각 지식베이스의 도메인, 문서 수, 검색 점수 분포가 다를 수 있어 검색 결과를 단순히 합치면 실제 관련성과 순위가 어긋날 수 있습니다.
상호 순위 융합(Reciprocal Rank Fusion): — 여러 검색기가 반환한 문서 목록의 순위를 바탕으로 문서별 점수를 계산하고 결과를 하나의 순위로 합치는 방식입니다. 원문은 여러 Knowledge Base의 상위 결과를 합칠 때 사용할 수 있지만, 서로 다른 검색 분포를 완전히 보정하지는 못한다고 봅니다.
검색 라우터(Retrieval Router): — 사용자 질의를 먼저 분류해 검색할 Knowledge Base나 검색기를 선택하는 구성 요소입니다. 모든 저장소를 조회하기 전에 관련 범위를 좁혀 검색 비용과 잡음 문서를 줄일 수 있지만, 라우터가 잘못 선택하면 필요한 문서가 검색 대상에서 빠질 수 있습니다.
Cross-Encoder 재순위화(Cross-Encoder Reranking): — 질의와 검색 문서를 함께 입력해 두 텍스트의 관련성을 다시 계산하고, 초기 검색 결과의 순서를 조정하는 방법입니다. 여러 Knowledge Base에서 모인 후보 문서를 동일한 기준으로 비교하는 데 활용할 수 있지만, 후보 문서 수가 늘면 추가 추론 비용이 발생합니다.
에이전트형 검색(Agentic Retrieval): — 시스템이 질의를 한 번 처리하는 대신 필요한 검색 단계를 판단하고 여러 Knowledge Base를 순차적으로 조회하는 방식입니다. 복합적인 질의에 대응할 여지가 있지만, 반복 검색과 계획 오류가 응답 지연 및 검색 결과 변동성을 키울 수 있습니다.

언급된 도구

Lyzr Studio중립

여러 Knowledge Base를 대상으로 agentic multi-step retrieval과 선택 후 병렬 검색을 제공하는 플랫폼

LlamaIndex중립

Knowledge Base 및 RAG 구현을 비교하는 프레임워크

LangChain중립