그라운드 트루스 없이 검색 시스템 평가하기: LLM 판정과 그래프 이론의 활용

섹션별 상세

검색 시스템 평가에 필요한 그라운드 트루스 확보는 도메인 전문가의 시간과 비용, 데이터 보안 문제로 인해 실무에서 큰 병목이다.

임베딩 모델은 일반적인 의미 유사도에 최적화되어 있어, 특정 도메인의 공격 패턴이나 법률적 맥락과 같은 세밀한 관련성을 판단하는 데 한계가 있다.

LLM 판정자는 루브릭을 통해 도메인 특화된 관련성 정의를 적용할 수 있으며, 교차 어텐션을 통해 쿼리와 문서 간의 복잡한 관계를 추론한다.

LLM의 판단은 비이행성(A>B, B>C, C>A)을 띠는 경우가 많아 단순 정렬 알고리즘 적용이 불가능하다.

근거

LLM은 검색 시스템의 관련성 평가에서 인간의 판단과 유사한 순위를 유지할 수 있다. — SIGIR LLMJudge benchmark (Rahmani et al., 2025) 섹션

검색 결과를 유향 그래프로 모델링하고 강한 연결 요소(SCC)를 하나의 등급으로 축약하면, 비이행성 문제를 해결하고 신뢰할 수 있는 순위 도출이 가능하다.

근거

검색 증강 생성(RAG): — 외부 데이터를 검색하여 LLM의 답변 정확도를 높이는 기술이다. 검색된 문서를 컨텍스트로 주입하여 모델이 학습하지 않은 최신 정보나 특정 도메인 지식을 참조하게 한다.
그라운드 트루스(Ground Truth): — 모델 평가를 위해 사용되는 정답 데이터셋이다. 검색 시스템에서는 쿼리에 대해 가장 관련성 높은 문서 목록을 의미하며, 이를 기준으로 검색 성능 지표를 계산한다.
비이행성(Non-transitivity): — A가 B보다 낫고 B가 C보다 나을 때, A가 C보다 낫다는 논리가 성립하지 않는 현상이다. LLM의 비교 판단에서 자주 발생하며, 전체 순위 도출을 어렵게 만드는 요인이다.
강한 연결 요소(SCC): — 유향 그래프 내에서 모든 노드가 서로 도달 가능한 부분 집합이다. 비이행성으로 인해 발생하는 순환 구조를 하나의 등급으로 묶어 처리할 때 사용된다.
정규화 할인 누적 이득(NDCG): — 검색 결과의 순위 품질을 측정하는 지표이다. 상위 순위에 관련성 높은 문서가 배치될수록 높은 점수를 부여하며, 검색 시스템의 효율성을 평가하는 핵심 척도이다.