과도한 샘플링이 해를 끼칠 때: 테스트 시점 샘플링의 모달 한계와 상관 한계

테스트 시점에 샘플을 많이 뽑는 전략은 검증기가 없는 배포 환경에서 되레 확신에 찬 오류를 강화할 수 있다는 점을 드러낸다. 논문은 샘플 수 n과 샘플 간 상관 ρ의 결합으로 정의되는 유효 샘플 수 n_eff = n / [1+(n-1)ρ]이 실제로 한계 1/ρ로 포화함을 수식적으로 보여준다. 이 결과는 벤치마크 추정, 선택(다수결/self-consistency), 그리고 정답을 단순히 포함하는 커버리지라는 서로 다른 목표에 대해 서로 다른 예산 규칙을 요구한다.

출발점은 동일한 프롬프트에 대해 여러 번 샘플링한 시도가 하나의 클러스터(cluster)를 구성한다는 관찰이다. 각 세션은 잠재적 성공률 θ를 하나 뽑고 그 θ로부터 i.i.d. Bernoulli 시행을 반복하는 de Finetti 혼합으로 모델링되므로 같은 문제 내 시도들은 상호 양의 상관을 가지게 된다. 이 관점은 샘플 수 n을 단순히 늘리는 전통적 해석을 수정하며, 샘플 간 상관이 분산을 불러와 명목적 샘플 수가 과대평가된다는 핵심 인사이트를 제공한다.

논문은 수학적 유도와 두 종류의 공개 로그 분석을 결합해 주장을 입증했다. 이론부분에서는 교환성(exchangeability)과 intraclass correlation ρ를 도입해 카운트 K의 분산을 Var(K)=n s (1-s)[1+(n-1)ρ]로 유도하고 이를 통해 n_eff 식을 얻었다. 실험부분에서는 독립 샘플 로그로부터 between-problem heterogeneity를, 동일 세션의 다중 샘플 로그로부터 within-problem answer concentration을 분리해 측정하면서 이론식과 실제 로그의 일치를 검증했다.

이론식에 따르면 n_eff는 n을 늘려도 ρ>0이면 1/ρ로 포화한다는 상관 한계가 생긴다. 공개 로그 분석에서 Brown et al. 로그는 ρ̂_b≈0.4~0.6를 보였고 그 결과 10^4 샘플이 벤치마크 추정 관점에서 약 2개의 독립 표본에 해당하는 정보만 제공했다. MATH-500 종속 로그에서는 256시도에서 coverage≈0.88에 도달했지만 self-consistency는 약 0.45에서 포화해 많은 문제에서 정답은 샘플에 존재해도 투표로는 선택되지 않는 현상이 실측되었다.

아키텍처 의존성은 없으며 논문은 샘플링 구성(temperature, top-p 등)을 고정한 동일 모델의 반복 시도를 하나의 클러스터로 간주한다. 핵심 수학은 카운트 K의 분산 전개로, 분산은 개별 시도의 분산 ns(1-s)와 모든 쌍의 공분산 합으로 구성되며 공분산은 ρ s(1-s)로 치환되어 closed-form이 얻어졌다. 이로부터 유효 샘플 수 n_eff = n/[1+(n-1)ρ]가 도출되며 n_eff의 도함수로부터 추가 샘플의 한계 기여가 1−ρ over [1+(n-1)ρ]^2 꼴로 급감한다는 점이 수치적으로 제시되었다.

주된 가정은 샘플들이 동일한 디코딩 구성에서 교환(exchangeable)된다는 점으로, 이 가정이 위배되면 식의 평균적 해석으로 돌아간다. 논문은 검증기(verifier)가 완전 정확하다는 전제를 두어 검증기 오류에 의한 추가적인 한계는 본 분석에 포함하지 않았다. equicorrelation 가정은 분석 편의를 위해 사용되었고 실제로는 시도들이 접두사를 공유하는 정도에 따라 비등식적 상관 구조를 가질 수 있으므로 평균 상관 ρ̄로 해석해야 한다.