PeopleSearchBench: AI 인물 검색 도구 성능 측정을 위한 오픈소스 벤치마크

작성자가 직접 개발한 벤치마크에서 본인의 도구가 1위를 한 것에 대한 경계심이 있으나, 방법론과 코드를 모두 오픈소스로 공개하고 인간 검증 데이터(Kappa 0.84)를 제시하여 신뢰도를 높였다는 평가이다.

• 인물 검색 시스템 구축 시 LLM의 추론에만 맡기지 말고 Tavily와 같은 실시간 검색 API를 연동하여 데이터를 교차 검증해야 한다.
• 채용 업무에는 데이터베이스 기반 도구가 유리하고, 특정 분야 전문가 탐색에는 웹 검색 기반 에이전트가 더 효과적이다.

LLM-as-Judge

— 하나의 LLM이 다른 AI 모델의 응답 품질을 평가하는 방식이다. 사람이 직접 평가하는 비용을 줄일 수 있으나, 평가 모델 자체의 편향성이나 훈련 데이터의 한계로 인해 최신 정보 검증에는 취약할 수 있다.

nDCG

— 검색 알고리즘의 순위 지정 품질을 측정하는 지표이다. 관련성이 높은 결과가 상단에 위치할수록 높은 점수를 부여하며, 검색 시스템의 정확도를 평가하는 표준적인 벤치마크 수단으로 활용된다.

Cohen's Kappa

— 두 평가자 사이의 일치도를 측정하는 통계적 지표이다. 우연히 일치할 확률을 제외하고 계산하며, AI 모델의 평가 결과가 인간 전문가의 판단과 얼마나 일관성이 있는지 검증하는 데 사용된다.

Criteria-Grounded Verification

— 주관적인 품질 평가 대신 검색 결과를 구체적인 사실 항목으로 분해하여 검증하는 방법론이다. 실시간 웹 검색을 통해 각 항목의 진위 여부를 개별적으로 확인하여 평가의 객관성을 확보한다.