검색하지 말고 탐색하라: 기업 지식을 QA 및 RAG를 위한 탐색 가능한 에이전트 스킬로 증류하기

기존 RAG 시스템은 LLM을 검색 결과의 수동적인 소비자로 취급하여 전체 지식 구조를 파악하지 못하는 한계가 있다. 이 논문은 지식 베이스를 계층적인 '스킬 디렉토리'로 변환하여 에이전트가 스스로 탐색하고 추론하며 정보를 찾게 함으로써 복잡한 질의에 대한 답변 정확도를 획기적으로 높였다.

기존 RAG는 사용자의 질문을 Embedding 공간에 투영하여 유사한 조각들을 찾아오지만, 모델은 자신이 왜 이 조각을 받았는지 혹은 더 나은 정보가 다른 곳에 있는지 알 수 없는 '블랙박스' 상태에 놓인다. 이는 마치 도서관에서 사서가 가져다주는 책 몇 페이지만 보고 보고서를 쓰는 것과 같아, 전체적인 맥락 파악이 필요한 복잡한 질문에 취약하다.

CORPUS2SKILL은 도서관 전체를 체계적인 '파일 시스템'으로 재구성하여 에이전트에게 지도를 쥐여주는 방식을 취한다. 먼저 전체 문서를 주제별로 묶고 요약하는 과정을 반복하여 계층적인 트리 구조를 만든다. 에이전트는 최상위 카테고리부터 하위 주제로 내려가며 정보를 탐색하며, 이 과정에서 자신이 현재 어디를 보고 있는지 명확히 인지한다.

이러한 구조 덕분에 에이전트는 잘못된 경로로 들어갔을 때 스스로 Backtracking을 수행하거나, 서로 다른 주제에 흩어진 정보를 결합하는 고차원적인 추론이 가능해진다. 결과적으로 벡터 데이터베이스나 인덱스 없이도 LLM의 추론 능력만으로 방대한 지식 베이스에서 정확한 근거를 찾아낼 수 있게 된다.

CORPUS2SKILL은 오프라인 컴파일 단계와 온라인 서빙 단계로 나뉜다. 컴파일 단계에서는 먼저 문서들을 Sentence Embedding 모델을 통해 벡터화한 후, K-Means 알고리즘을 사용하여 반복적으로 클러스터링한다. 각 클러스터는 LLM에 의해 요약되며, 이 요약본은 다시 상위 수준의 클러스터링 입력값으로 사용되어 최종적으로 루트 클러스터까지 도달하는 계층 구조를 형성한다.

형성된 계층 구조는 실제 파일 시스템 형태로 구체화된다. 루트 클러스터는 SKILL.md 파일로, 하위 클러스터는 INDEX.md 파일로 저장된다. [클러스터 내 문서 벡터들의 평균값 → K-Means 할당 → LLM 요약 생성 → 요약본 재임베딩] 과정을 통해 의미론적으로 응집력 있는 트리 구조가 완성된다. 각 파일은 YAML 형식의 메타데이터와 함께 주제 설명, 하위 그룹 목록, 문서 ID 등을 포함한다.

서빙 단계에서는 Anthropic의 Skills API를 활용하여 Progressive Disclosure 메커니즘을 구현한다. 에이전트는 처음에 스킬의 이름과 한 줄 설명만 로드하여 컨텍스트 비용을 절감하며, 필요에 따라 특정 SKILL.md나 INDEX.md를 읽어 상세 내용을 파악한다. 에이전트에게는 'ls'와 'cat' 역할을 하는 code_execution 도구와 특정 문서를 가져오는 get_document 도구가 제공되어, 스스로 지식 트리를 탐색하며 답변을 생성한다.

WixQA 데이터셋(6,221개 문서, 200개 전문가 질의) 실험 결과, CORPUS2SKILL은 Token F1 점수 0.460을 기록하여 Agentic RAG(0.388) 대비 19%, Dense Retrieval(0.363) 대비 27% 향상된 성능을 보였다. 특히 Factuality(0.729)와 Context Recall(0.652) 지표에서도 RAPTOR를 포함한 모든 베이스라인을 압도했다.

Ablation Study를 통해 트리 구조의 영향력을 분석한 결과, 가지치기 비율(branching ratio) p=5인 좁고 깊은 트리가 p=20인 넓고 얕은 트리보다 우수한 성능을 보였다. 이는 에이전트가 한 번에 검토해야 할 선택지가 적을수록 더 정확한 경로를 선택할 수 있음을 시사한다. 또한, 더 저렴한 모델인 Claude 3 Haiku를 사용하더라도 기존의 고성능 RAG 시스템들과 대등하거나 우수한 성능을 유지하여 시스템의 견고함을 증명했다.

CORPUS2SKILL은 RAG의 검색 과정을 에이전트의 '의사결정 과정'으로 치환했다는 점에서 기술적 차별점을 갖는다. 기존 RAPTOR가 트리의 모든 노드를 벡터화하여 검색 대상으로 삼는 것과 달리, 본 연구는 트리의 구조 자체를 에이전트의 가시 영역에 노출시킨다. 이는 LLM이 검색 결과의 단순 수용자가 아닌, 탐색 전략을 수립하는 주체로 기능하게 한다.

구현 측면에서 'Progressive Disclosure'를 도입하여 컨텍스트 윈도우의 효율성을 극대화했다. 에이전트는 초기 단계에서 약 200 토큰의 스킬 메타데이터만 확인하고, 탐색이 깊어짐에 따라 필요한 파일만 로드한다. 이는 수만 개의 문서를 다루는 환경에서도 에이전트가 길을 잃지 않게 돕는다. 또한, K-Means의 Hard Assignment를 통해 각 문서가 단 하나의 경로에만 존재하도록 강제함으로써 파일 시스템 기반의 결정론적 탐색을 가능하게 했다.

질의당 비용이 기존 RAG 대비 높다. 에이전트가 여러 단계의 파일을 읽어야 하므로 입력 토큰 사용량이 증가하기 때문이다. 또한, 문서가 단 하나의 클러스터에만 속하는 Hard Clustering 방식은 여러 주제에 걸쳐 있는 문서의 경우 탐색 병목 현상을 일으킬 수 있다. 마지막으로 현재 시스템은 배치 처리 방식이어서 실시간 문서 업데이트를 반영하기 위해서는 전체 재컴파일이 필요하다.