CDRAG: LLM 가이드 클러스터 인지 검색을 통한 RAG 성능 향상

작성자가 GitHub 코드와 상세 리포트를 함께 공개하여 실질적인 기술 공유가 이루어졌으며, 클러스터 기반 라우팅 접근 방식에 대한 커뮤니티의 관심이 높다.

• 검색 정확도가 낮은 RAG 시스템에 계층적 클러스터링을 도입하여 검색 범위를 사전 필터링하는 전략을 고려할 수 있다.
• 클러스터별 키워드 요약을 LLM에게 제공하여 검색 대상 클러스터를 선택하게 함으로써 검색 효율을 최적화할 수 있다.

Clustered RAG

— 전체 문서 코퍼스를 의미론적으로 유사한 그룹(클러스터)으로 먼저 분류한 뒤 검색을 수행하는 RAG 기법이다. 문서 간의 구조적 관계를 파악하여 검색 효율성을 높이고 관련성 높은 문맥을 더 정확하게 추출하는 데 기여한다.

Cosine Similarity

— 두 벡터 사이의 각도 코사인 값을 이용하여 유사도를 측정하는 방식이다. RAG 시스템에서 사용자 질문 벡터와 가장 가까운 문서 벡터를 찾아내는 핵심 거리 측정 지표로 널리 사용된다.

Faithfulness

— RAG 시스템의 응답이 제공된 검색 결과(Context)에 얼마나 근거하고 있는지를 나타내는 평가 지표이다. 모델이 외부 지식을 왜곡하거나 할루시네이션을 일으키지 않고 주어진 정보에 충실하게 답변했는지를 측정한다.