에이전트 도구 선택: 대규모 카탈로그에서 BM25(키워드)가 임베딩 유사성보다 더 정확한 경우

글쓴이는 실험 결과와 공개 벤치를 제시하며 피드백을 요청했고, 대체로 실무자 중심의 호기심과 재현 요구가 기대되는 분위기였다. 구체적 댓글은 입력에 없지만 게시물 성격상 BM25 경험 공유나 대규모 카탈로그에서의 임베딩 우수 사례를 묻는 응답이 이어질 가능성이 높다.

• 도구 이름, 짧은 설명, 입력/출력 스키마를 평문으로 결합해 BM25 인덱스를 구축하고 우선 검색기로 사용하면 구조화 신호를 선명하게 유지할 수 있다.
• 임베딩을 사용하려면 하이브리드 워크플로(lexical 우선 → semantic rerank)를 도입해 모호한 쿼리만 의미 기반으로 재처리하는 방식으로 비용과 정확도를 균형화할 것.
• 로컬(in-process) BM25 구현을 먼저 도입해 토큰·API 비용 변화를 측정하고, 대규모 카탈로그에서의 성능 저하 지점을 식별한 뒤에 임베딩 계층을 증설할지 결정할 것.

BM25 (역문헌빈도 기반 점수)(BM25)

— 문서와 쿼리의 키워드 일치에 기반해 스코어를 계산하는 전통적 정보검색 알고리즘으로, 쿼리·문서의 토큰 빈도와 역문헌빈도를 입력으로 가중합을 계산해 관련도를 산출한다. 짧고 구조화된 텍스트에서 특정 토큰이 판별자일 때 신호가 선명하게 유지되는 장점이 있어 도구 카탈로그 검색에 유리하다.

검색 증강 생성 (RAG)(RAG)

— 쿼리와 관련된 외부 문서를 검색해 모델 입력에 컨텍스트로 주입한 뒤 생성 모델이 해당 컨텍스트를 바탕으로 응답을 생성하는 파이프라인으로, 검색(검색기/임베딩) → 컨텍스트 조합 → 생성(LLM) 흐름으로 작동한다. 문단 길이의 풍부한 의미 신호가 있을 때 임베딩 기반 검색이 강점을 보인다.

의미 임베딩(Semantic Embeddings)

— 문장·문서 수준의 의미적 유사성을 벡터 공간에서 측정하기 위해 텍스트를 고차원 임베딩으로 변환하는 기법으로, 입력 쿼리와 각 대상의 임베딩을 코사인 유사도로 비교해 관련 문서를 순위화한다. 문맥이 풍부한 긴 텍스트에서 의미적 근접성을 포착하는 데 유리하나, 짧고 구조화된 레이블에서는 특정 토큰 신호가 희석될 수 있다.

도구 선택(Tool Selection)

— 에이전트가 호출 가능한 여러 함수·툴 중 현재 쿼리에 가장 적합한 하나를 고르는 문제로, 입력(사용자 쿼리) → 검색/순위화(lexical 또는 semantic) → 선택(도구 호출) 형태로 처리된다. 도구 설명이 짧고 구조화되어 있으면 키워드 신호 기반 방법이 우위인 반면, 의도가 모호하면 의미 기반 보강이 필요하다.