LLM 판정 기반 선형 이득 NDCG

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 글은 잡 검색 평가에서 LLM 판단자가 각 후보에 0–100 점수를 매긴 뒤 선형 이득 NDCG로 제품의 상위 k를 평가하는 방식을 제시한다. DCG는 sum(score_i / log2(rank_i + 1))로 계산하고 NDCG@10과 NDCG@26을 주요 지표로 보고한다. 판단자 노이즈를 고려해 프롬프트·모델·증거·판단 점수 등을 기록해 감사 가능하게 유지하며, 코퍼스 강도와 순위 품질을 분리해 해석한다.

섹션별 상세

검색 쿼리와 위치·필터로 후보군을 고정한 뒤 각 케이스에서 모든 후보를 LLM 판단자에게 제출해 0–100 범위의 관련도 점수를 얻는다. 이 점수로 이상적 순위를 만들고 제품이 노출한 상위 k 결과와 비교해 NDCG를 계산한다. 이렇게 하면 제품의 상단 노출이 판단자 관점의 이상적 상단과 얼마나 일치하는지 정량적으로 평가할 수 있다.

근거

평가는 고정된 eligible corpus에서 시작해 각 후보를 LLM 판단자에게 제출해 0–100 점수를 매기고 그 점수로 이상적 순위를 만든 뒤 제품 상위 k와 비교하는 방식이다. — 본문 첫 섹션의 'Evaluation case'와 'Each evaluation case starts...' 단락

이진 또는 소수 등급 기반 평가 대신 전체 0–100 점수를 유지하는 이유는 우수 매칭들 사이의 세부 우열을 보존하기 위해서이다. 점수 범위 중 특히 75–85 구간에서 차이가 유의미하다고 보고 선형 이득(gain=score)을 채택해 점수 차이를 직접 이득으로 사용한다. 그 결과 작은 점수 차이가 지표를 폭발적으로 왜곡하지 않으면서 상위권 내 서열을 판별할 수 있다.

근거

메트릭은 선형 이득을 사용한 NDCG로, gain(score)=score를 적용해 0–100 스케일 점수를 직접 이득으로 쓴다. — 본문 'Why linear gain' 섹션에서 선형 이득과 그 이유를 설명한 문단

NDCG 계산은 DCG@k를 먼저 구하고 이를 이상적 상위 k의 DCG로 나누는 방식으로 이루어진다. DCG@k는 sum(score_i / log2(rank_i + 1))로 정의되므로 상위 랭크의 점수가 더 큰 기여를 하며 NDCG@10과 NDCG@26을 보고한다. 두 개의 k를 함께 제시하면 페이지 상단 품질과 전체 페이지 품질을 모두 평가할 수 있다.

근거

DCG@k는 sum(score_i / log2(rank_i + 1))로 계산되며 NDCG@k는 제품의 상위 k DCG를 이상적 상위 k DCG로 나눠 산출한다. — 본문 'Metric' 섹션의 공식 열거

평가의 신뢰성 문제를 인지해 판단자(LLM) 관련 아티팩트를 기록해 감사 가능하게 유지한다. 저장되는 항목에는 프롬프트 버전, 모델 버전, 증거 페이로드, 판단자 점수와 이유, 동결된 말뭉치 식별자가 포함된다. 이렇게 하면 판단자 노이즈나 프롬프트 변화가 결과에 미치는 영향을 추적해 문제 원인을 진단할 수 있다.

근거

보고서는 NDCG@10과 NDCG@26을 헤드라인 지표로 삼고, 판단자 감사용 아티팩트를 함께 보관해 신뢰성을 관리한다. — 본문 'Metric'과 'Judge reliability' 및 'Report contents' 단락들

메트릭의 실용적 해석을 위해 이상적 상위 k의 원시 점수 분포도 함께 보고한다. 이상적 점수들이 전반적으로 낮으면 NDCG가 높아도 실제로는 약한 후보들로 구성된 말뭉치라는 결론을 낼 수 있다. 이 이원적 관점은 순위 품질과 코퍼스 강도를 분리해 운영·디버깅 과제를 구체적으로 짚는 데 유용하다.

용어 해설

정규화 누적 이득( NDCG )(NDCG): — NDCG는 검색 결과 페이지의 순위 품질을 평가하는 지표로, 각 항목의 관련도에 가중치를 주고 위치에 따라 감쇠시켜 합산한다. 입력으로는 판단자 점수(이 글에서는 0–100)를 사용해 DCG를 계산하고 이상적 순위를 기준으로 정규화한다. 이렇게 하면 상위 랭크의 고점들 기여도가 더 커지므로 실제 사용자에 가까운 상단 품질을 측정할 수 있다.
할인 누적 이득( DCG )(DCG): — DCG는 각 결과의 관련도 점수를 rank 위치의 로그 감쇠로 나눈 값을 합해 산출한다. 공식은 sum(score_i / log2(rank_i + 1))이며 상위 순위에 더 높은 가중치를 부여한다. NDCG는 이 DCG를 이상적 상위 집합의 DCG로 정규화한 값이다.
선형 이득(Linear gain): — 선형 이득은 NDCG의 이득 함수로서 관련도 점수 자체를 이득으로 쓰는 방식이다. 원문은 0–100 스케일을 그대로 사용해 작은 점수 차이가 과도하게 확대되지 않도록 설계했다고 밝힌다. 이 방식은 상위권 내 세부 순서 차이를 보존하면서 지표 해석을 단순하게 유지한다.
고정된 평가 말뭉치(Frozen corpus): — 고정된 평가 말뭉치는 각 평가 케이스에서 eligibility 필터를 적용해 고정한 후보 집합을 뜻한다. 이 말뭉치 안에서 LLM 판단자가 모든 후보에 대해 점수를 매기고 이상적 순위를 도출한다. 제품이 보여주는 상위 k와 이 이상적 상위 k를 비교해 NDCG를 계산한다.

기술

LLM
NDCG
DCG

활용 사례

잡 검색 결과의 상위 품질 정량적 평가
검색·랭킹 변경에 대한 회귀 탐지와 케이스별 디버깅
제품 노출과 이상적 판단자 순위 간 일치도 측정

LLM 판정 기반 선형 이득 NDCG

TL;DR

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 기사

RAG 평가 가이드: 검색 평가와 생성 평가를 분리하고 LLM 저지 벤치마크를 활용하는 방법

Retrieval-Arena: 검색 품질을 정량화하는 평가 기반 RAG·컨텍스트 엔지니어링 프레임워크

LLM 평가의 모든 것: 이론부터 실전까지 (세션 3/5)

관련성 중심 검색을 넘어서: 루브릭 기반 문서 집합 평가와 선택