모델을 믿으세요: 분포 가이드 기반의 신뢰도 보정

대형 언어 모델이 여러 답변을 생성할 때 어떤 것이 정답인지 판단하는 것은 매우 어렵다. 이 논문은 모델 내부의 신뢰도 점수가 정답과 오답에서 서로 다른 통계적 분포를 가진다는 점을 이용해, 외부 모델 없이도 정답을 정확히 골라내는 기술을 제시하여 추론 효율성을 극대화한다.

LLM은 답변을 생성할 때 각 토큰의 확률값(Log-probability)을 통해 자신의 확신 정도를 나타낸다. 하지만 단순히 평균 확률이 높다고 해서 반드시 정답은 아니며, 특히 어려운 추론 문제에서는 오답임에도 불구하고 높은 확신을 보이는 '근거 없는 자신감' 현상이 발생하여 최종 답변 선택에 혼란을 준다.

이 논문은 정답인 경우와 오답인 경우의 신뢰도 점수가 통계적으로 서로 다른 가우시안 분포(Gaussian Distribution)를 따른다는 점에 주목한다. GMM(Gaussian Mixture Model)을 통해 전체 분포에서 정답 후보군과 오답 후보군을 확률적으로 분리해내어, 두 분포가 겹치는 영역에서 발생하는 오판을 효과적으로 제거한다.

또한 생성 도중 신뢰도가 떨어지는 지점에서 모델이 스스로를 돌아보게 하는 SSC 기법을 통해 정답과 오답 사이의 분포 거리를 더 멀리 벌린다. 결과적으로 모델이 더 명확한 통계적 근거를 바탕으로 정답을 선택할 수 있게 되어 추론 성능이 크게 개선된다.

DistriVoting은 생성된 모든 경로의 신뢰도 점수를 GMM으로 모델링한다. [전체 경로의 신뢰도 점수 집합을 입력으로] -> [두 개의 가우시안 성분으로 분리하는 연산을 수행해] -> [평균값이 높은 긍정 분포와 낮은 부정 분포를 얻고] -> [이를 통해 잠재적 정답과 오답을 구분한다].

Reject Filter 단계에서는 부정 분포에서 투표된 답변을 활용해 긍정 분포 내의 가짜 정답(False Positive)을 제거한다. [부정 분포에 속한 샘플들의 답변과 신뢰도를 입력으로] -> [가중 투표를 통해 가장 유력한 오답을 결정하고] -> [긍정 분포에서 이와 일치하는 답변을 제외하여] -> [최종 후보군의 순도를 높인다].

SelfStepConf(SSC)는 추론 중 단계별 신뢰도 $CG_m$을 모니터링한다. [현재 단계의 신뢰도와 이전 단계들의 지수 이동 평균 임계값을 입력으로] -> [신뢰도 하락 폭이 기준치를 초과하는지 비교 연산을 수행해] -> [반성 트리거 여부를 결정하고] -> [필요 시 특정 토큰을 주입하여 모델의 재사고를 유도한다].

DeepSeek-R1-8B 및 Qwen3-32B를 포함한 16개 모델에서 실험을 진행했다. DeepSeek-R1-8B 모델 기준, 5개 수학 추론 벤치마크 평균 성능이 기존 Weighted Self-Consistency(73.30%) 대비 DistriVoting 적용 시 77.84%로 약 4.5%p 향상되었다.

Ablation Study 결과, GMM Filter와 Reject Filter를 모두 사용했을 때 성능이 가장 높았으며, 특히 SSC를 결합했을 때 정답과 오답 분포 간의 거리($\delta = \mu_1 - \mu_2$)가 멀어지며 투표 정확도가 이론적 하한선 이상으로 증가함을 증명했다.

SSC는 추론 시간을 단 2.31%만 증가시키면서도 샘플링 효율성을 크게 개선하여, 적은 수의 샘플(Budget)로도 높은 정확도에 도달할 수 있게 함을 확인했다.

본 연구는 Test-Time Scaling(TTS) 환경에서 내부 신뢰도 신호의 변별력을 극대화하는 프레임워크를 구축했다. 기존의 단순 임계값 기반 필터링 대신 데이터 기반의 적응형 GMM 클러스터링을 도입하여 문제별, 모델별로 최적화된 필터링 경계를 동적으로 설정한다.

수학적으로 Theorem 2.1과 2.2를 통해 정답 분포와 오답 분포의 평균값 차이가 커질수록 가중 투표의 정확도가 단조 증가함을 증명했다. 이는 SSC가 단순히 답변을 수정하는 것을 넘어, 통계적 분포의 분리도를 높여 투표 메커니즘 자체의 신뢰도를 보강함을 의미한다.

SSC의 구현에서는 Exponential Moving Average(EMA)를 활용해 동적 임계값 $\tau_{conf}$를 업데이트하며, 신뢰도 급감 시 'wait'과 같은 특정 토큰을 강제로 주입(Reflection Injection)하여 모델의 사고 흐름을 전환한다. 이 과정은 확률 분포의 Softmax 연산 이전에 개입하여 계산 효율성을 유지한다.

샘플 크기가 매우 작을 경우(Budget < 16) 분포 정보가 노이즈에 취약해져 성능 이득이 줄어들 수 있다. 또한, 모델의 기초적인 추론 능력이 매우 낮은 경우에는 자가 성찰 유도가 효과적이지 않을 수 있다.