에이전트 도구 선택: 대규모 카탈로그에서 BM25(키워드)가 임베딩 유사성보다 더 정확한 경우

글쓴이는 실험 결과와 공개 벤치를 제시하며 피드백을 요청했고, 대체로 실무자 중심의 호기심과 재현 요구가 기대되는 분위기였다. 구체적 댓글은 입력에 없지만 게시물 성격상 BM25 경험 공유나 대규모 카탈로그에서의 임베딩 우수 사례를 묻는 응답이 이어질 가능성이 높다.

• 도구 이름, 짧은 설명, 입력/출력 스키마를 평문으로 결합해 BM25 인덱스를 구축하고 우선 검색기로 사용하면 구조화 신호를 선명하게 유지할 수 있다.
• 임베딩을 사용하려면 하이브리드 워크플로(lexical 우선 → semantic rerank)를 도입해 모호한 쿼리만 의미 기반으로 재처리하는 방식으로 비용과 정확도를 균형화할 것.
• 로컬(in-process) BM25 구현을 먼저 도입해 토큰·API 비용 변화를 측정하고, 대규모 카탈로그에서의 성능 저하 지점을 식별한 뒤에 임베딩 계층을 증설할지 결정할 것.

• 도구 카탈로그가 짧고 구조화된 설명 중심이면 도구 선택을 위해 이름·설명·스키마를 평문으로 결합해 BM25로 검색하면 판별 토큰 신호가 유지되어 임베딩 기반보다 높은 정확도를 얻을 수 있다.
• 임베딩(semantic) 기반은 긴 문단·모호한 의도·대규모 카탈로그에서 보강 역할을 할 가능성이 있으므로 실무에서는 lexical 우선, semantic 보강의 하이브리드 전략을 검토할 것.
• 토큰 비용과 시스템 복잡도를 줄이려면 임베딩 모델 없이 로컬 BM25 인덱스를 운영하는 것이 실용적이며, 재현 가능한 벤치(43,000개 도구)를 통해 선택 전략을 검증해야 한다.