MTEB 검색 평가의 이진 관련성 한계 극복: LLM 판정단을 활용한 단계별 점수제 도입

대체로 긍정적이며, 많은 사용자가 기존 MTEB 지표의 한계에 공감하며 새로운 평가 방식이 실무적인 검색 품질을 더 잘 반영한다는 점에 동의했다.

• RAG 시스템 평가 시 단순 이진 검색 성공 여부보다 LLM을 활용한 단계별 관련성 점수를 도입하여 파이프라인을 최적화하라.
• 임베딩 모델 선택 시 벤치마크의 이진 점수보다는 재순위화(Reranker) 모델과의 조합 성능을 우선적으로 고려하라.

MTEB

— 다양한 텍스트 임베딩 모델의 성능을 평가하기 위한 표준화된 벤치마크이다. 검색, 분류, 군집화 등 여러 작업에서 모델의 범용성을 측정하며, 최근 임베딩 모델 성능 경쟁의 핵심 지표로 활용된다.

NDCG

— 검색 결과의 순위와 관련성을 동시에 고려하는 평가 지표이다. 관련성이 높은 문서가 상단에 위치할수록 높은 점수를 부여하며, 검색 시스템의 정교함을 측정하는 데 필수적인 도구이다.

Binary Relevance

— 문서가 쿼리와 관련이 있는지(1) 없는지(0)로만 판단하는 평가 방식이다. 중간 단계의 관련성을 무시하기 때문에 최상위 답변과 단순 언급 문서를 구분하지 못하는 한계가 있다.

Graded Relevance

— 문서의 관련성을 0-10점과 같이 연속적인 점수로 세분화하여 평가하는 방식이다. 모델이 얼마나 정확하게 최적의 답변을 상위권에 배치했는지 변별력 있게 측정할 수 있게 해준다.