LLM-as-a-Verifier: 스코어 분포 기대값을 활용한 범용 검증 프레임워크

LLM 생성 성능의 향상에도 불구하고 정답 선택기(verifier)의 거친 이산 점수화가 상위 성능을 실사용에서 실현하지 못하는 한계를 남겼다. 본 논문은 모델이 산출하는 스코어 토큰의 로그확률 전체 분포를 이용해 연속적 점수를 구성함으로써 동일 후보군에서 더 정확하게 최적 궤적을 골라낼 수 있음을 보였다. 이 접근은 다양한 도메인과 멀티모달 입력에서 추가 학습 없이 적용 가능해, 베스트-오브-N 활용의 실효성과 RL 샘플 효율을 함께 끌어올린다.

검증 문제는 최종 정답을 생성하는 것과는 별개의 추론 과제이며, 단일 이산 토큰으로 점수를 내리면 서로 다른 내부 신념이 같은 토큰으로 소실되어 후보 간 구분이 불가능해진다. 본 논문의 출발점은 모델이 이미 다양한 신뢰도의 신호를 내부적으로 보유하고 있다는 점이며, 이 신호를 로그확률 분포 전체로 읽으면 보다 세밀한 판단 근거를 얻을 수 있다는 것이다. 따라서 단일 argmax 대신 분포의 기댓값을 계산하면 동점(tie) 비율이 현저히 감소하고 판별력이 개선된다.

LLM-as-a-Verifier는 세 가지 구성 요소로 작동한다: (1) 스코어 토큰 집합 V_score = {v1,…,vG}을 정의해 모델의 토큰 레벨 조건부 분포 pθ(vg|x,c,τ)를 추출한다, (2) 각 토큰 vg에 대응하는 실수 맵 φ(vg)를 부여하고 분포의 기댓값을 계산해 연속 보상 R(x,τ)를 얻는다, (3) Bradley–Terry 모델을 통해 두 궤적 간 쌍별 선호 확률 P(τi ≻ τj)=1/(1+exp(−(R(τi)−R(τj))))로 변환해 순위를 매긴다. 이러한 확률적 접근은 점수 세분화(G), 반복 평가(K), 기준 분해(C)라는 세 축에서 확장 가능하게 설계되어 각각 SNR 증가, 분산 평균화, 편향 제거 역할을 수행한다.

주요 벤치마크에서 LLM-as-a-Verifier는 학습 없는 상태로도 일관된 성능 향상을 보였다. Terminal-Bench V2에서 86.5%를 기록해 기존 Pass@1과 여러 경쟁 조합보다 우수한 성능을 달성했고, SWE-Bench Verified 78.2%, RoboRewardBench 선호 정확도 87.4%, MedAgentBench 73.3%의 성적을 보고했다. 점수 세분화 실험에서는 G=1에서 G=20으로 확장할 때 SNR이 0.775에서 0.799로 증가했고, 반복 평가에서는 K=1에서 K=16으로 갈 때 검증 정확도가 74.7%에서 77.5%로 향상되었으며 판별 불가 동률(tie)은 이산 판정자에서 k=1일 때 26.7%였던 반면 연속 검증기는 0%의 동률을 보였다.

전체 아키텍처는 후보 생성기(정책 πθ)가 N개의 궤적을 제안하면 검증기가 각 궤적에 대해 C개의 기준과 K회의 반복평가, G개의 스코어 토큰을 적용해 연속값 R(x,τ)를 계산하는 파이프라인이다. 핵심 수식은 R(x,τ)=1/(C K) Σ_{c=1}^{C} Σ_{k=1}^{K} Σ_{g=1}^{G} pθ(vg|x,c,τ) φ(vg)이며, pθ는 채점 프롬프트에서 추출한 토큰 로그확률을 확률로 변환해 사용한다. 이후 Bradley–Terry 모델로 쌍별 선호도를 계산하고 Probabilistic Pivot Tournament(PPT)를 통해 예산 내에서 상위 후보를 집중 비교해 최종 선택을 수행한다.

논문은 주로 로그확률 접근이 가능한 모델을 사용해 실험을 진행했으므로 로그확률 접근이 불가능한 일부 상용 모델에는 우회 절차가 필요하다고 명시했다. 반복 평가의 이득은 초기에는 뚜렷하지만 K이 커질수록 상관된 편향이 남아 수익 감소가 나타났고, 따라서 지연·비용 제약이 있는 실환경에서 K와 G의 교환점을 신중히 설계해야 한다. 또한 대규모 후보 풀에서의 전체 비용은 PPT로 절감 가능하지만 여전히 검증 비용이 무시할 수 없으므로 실무 적용에서 비용-정확도 균형을 고려해야 한다.