CFS: 중복 컨텍스트를 줄여 검색 성능을 향상시키는 조건부 필드 차감 기법

실용적 조언

RAG 시스템의 하이브리드 검색 구현 시 Cosine과 BM25 결과에 CFS를 RRF로 결합하면 검색 정확도를 개선할 수 있다

섹션별 상세

CFS 기법은 이미 선택된 후보와 겹치는 영역에 페널티를 부여하여 새로운 정보를 담은 조각이 선택되도록 유도한다. 쿼리에서 시작하여 새로운 정보를 추가하는 조각을 우선시하고, 아직 커버되지 않은 증거가 상단으로 올라올 수 있도록 반복 처리하는 구조를 가진다. 이를 통해 검색 결과 내의 중복 컨텍스트를 효과적으로 줄이면서 정보 밀도를 높인다.

CFS의 작동 원리를 퍼즐 조각에 비유한 다이어그램과 벤치마크 수치 비교표이다. — Infographic이미 선택된 조각(이미 커버된 영역)에 페널티를 주어 새로운 정보가 포함된 조각이 선택되는 과정을 시각화했다. 우측 상단에는 mem0 대비 NDCG@10이 4.08%p 향상되었다는 구체적인 실험 결과 수치가 명시되어 기사의 주장을 뒷받침한다.

성능 평가 결과 rrf(cosine, BM25, CFS) 조합이 NDCG@10 0.5311, Recall@10 0.7168을 기록하며 가장 우수한 성과를 냈다. 이는 mem0의 가산 융합 방식과 비교했을 때 NDCG@10 기준 4.08%p, Recall@10 기준 5.43%p 향상된 수치이다. 단순 rrf(cosine, BM25) 조합과 비교해도 CFS를 추가했을 때 각각 1.15%p와 1.79%p의 유의미한 성능 향상이 확인됐다.

용어 해설

정규화된 누적 순위 이득(NDCG): — 검색 결과의 순위 품질을 측정하는 지표로, 관련성이 높은 항목이 상단에 위치할수록 높은 점수를 부여한다. 검색 시스템의 정밀도를 평가하는 핵심 벤치마크 수단이다.
상호 순위 융합(RRF): — 여러 검색 알고리즘의 결과를 결합하는 기법으로, 각 결과의 순위 역수를 합산하여 최종 순위를 결정한다. 서로 다른 특성을 가진 검색 방식의 장점을 통합하는 데 사용된다.
BM25: — 문서 내 단어 빈도와 희소성을 바탕으로 텍스트 유사도를 계산하는 전통적인 키워드 기반 검색 알고리즘이다. 현대 RAG 시스템에서 시맨틱 검색을 보완하는 하이브리드 검색의 핵심 요소로 쓰인다.

언급된 도구

mem0중립

지능형 메모리 계층 및 데이터 융합

언급된 리소스

GitHubCFS Implementation Gist