에이전트 메모리 파이프라인에서 하이브리드 검색과 RRF를 통한 검색 정확도 개선 사례

작성자의 하이브리드 검색 도입 경험에 대해 긍정적인 반응이 많으며, 특히 PostgreSQL 하나로 벡터와 키워드 검색을 모두 해결한 아키텍처의 효율성에 주목했다.

• PostgreSQL을 사용 중이라면 별도의 검색 엔진 도입 없이 tsvector와 pgvector를 조합하여 하이브리드 검색을 즉시 구현할 수 있다.
• 정확도가 최우선인 경우 검색 결과 상위권에 Cross-Encoder 재순위화를 적용하여 정밀도를 높여라.

BM25

— 문서 내 키워드 빈도와 희소성을 기반으로 검색어와의 관련성을 계산하는 전통적인 정보 검색 알고리즘이다. 벡터 검색이 놓치기 쉬운 정확한 문자열 일치나 고유 명사 검색에서 높은 성능을 발휘하며 하이브리드 검색의 핵심 요소로 쓰인다.

상호 순위 결합(RRF)

— 서로 다른 검색 알고리즘(예: 벡터 검색과 BM25)이 생성한 여러 순위 리스트를 하나의 통합된 순위로 병합하는 기법이다. 각 리스트에서의 순위 역수를 합산하여 점수를 산출하며, 여러 리스트에서 공통적으로 상위에 오른 항목에 가중치를 부여한다.

교차 인코더(Cross-Encoder)

— 질의와 문서를 동시에 입력받아 둘 사이의 관계를 직접 계산하는 딥러닝 모델이다. 벡터 검색(Bi-Encoder)보다 계산 비용은 높지만 문맥적 연관성을 훨씬 정밀하게 파악할 수 있어 검색 결과의 최종 재순위화(Reranking) 단계에 주로 사용된다.

tsvector

— PostgreSQL에서 제공하는 전문 검색(Full-Text Search)용 데이터 타입으로, 텍스트를 최적화된 토큰 형태로 저장한다. 이를 통해 별도의 검색 엔진 없이도 데이터베이스 내에서 효율적인 키워드 기반 검색과 인덱싱을 수행할 수 있다.