BETAPRM: Monte Carlo 컨티뉴에이션으로 학습된 신뢰도 신호를 갖춘 Beta-Binomial 기반 Process Reward Model

프롬프트 기반 추론에서 각 프리픽스의 보상은 불확실성을 내포한다. BETAPRM은 prefix 수준의 성공 확률과 학습된 신뢰도 신호를 함께 예측해 신뢰성 있는 보상은 조기에 반영하고, 불확실한 프리픽스에는 추가 계산을 배정한다. 이를 통해 더 적은 토큰으로도 더 나은 최종 정답 정확도를 달성할 수 있다.

전제: 기존의 PRM은 프리픽스의 성공 확률을 단일 점으로 예측해 불확실성을 표현하지 않는다. BETAPRM은 qt를 Beta 분포로 표현하고, 관측된 Kt/N 카운트를 Beta-Binomial likelihood로 설명하여 확률의 신뢰도 κt를 함께 학습한다. 이렇게 얻은 µt와 κt를 통해 신뢰도에 따라 보상을 다루고, ACA를 통해 불확실한 프리픽스에 더 많은 계산을 할당한다. 실험적으로는 µt와 κt를 기반으로한 σt를 계산하고, rt = µt − λσt로 위험을 조정한 점수로 후보를 비교한다. 결과적으로 높은 신뢰도의 보상은 조기에 중단하고, 불확실한 프리픽스는 재탐색되며, 토큰 수를 줄이면서도 최종 정확도를 높인다.

입력 x에 대해 Step: s1, , s2, , ..., sT, 순으로 프리픽스를 구성한다. t번째 프롬프에 대해 두 reward 토큰의 로짓 zYes_t, zNo_t를 이용해 µt를 계산한다. µt = exp(zYes_t) / (exp(zYes_t) + exp(zNo_t)). κt = softplus(gϕ(ht)) + κmin. αt = µt κt, βt = (1 − µt) κt. qt | ϑt ∼ Beta(αt, βt)이며 Kt|N, qt ∼ Binomial(N, qt)이다. 따라서 p(Kt|N, αt, βt) = (N choose Kt) B(Kt+αt, N−Kt+βt) / B(αt, βt). Beta-Binomial 손실 LBeta-Binomial = −(1/|P|) ∑t∈P log p(Kt|N, αt, βt)로 학습한다. 보정 항 Lreg는 sg(µt)로 µt를 Kt/N으로 끌어당기지 않도록 κt를 보정한다. ACA는 다음과 같다: σt = sqrt(µt(1−µt)/(κt+1)), rt = µt − λσt, S(y) = (1/T)∑t(µt − λσt)로 후보를 순위화하고, LCB/UCB를 이용해 중단 여부를 결정한다. 학습 데이터는 VisualPRM400K-v1.1을 사용하고, 백본은 InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B를 채택한다. 최적화는 AdamW로 수행하며, κmin, 초기 κ, Lreg 계수 등 하이퍼파라미터가 주어진다.

주요 벤치마크에서 BETAPRM은 Best-of-16 최종 정답 정확도에서 일관된 향상을 보인다. InternVL3-14B에서 +1.29점, InternVL3-8B에서 +1.46점, InternVL2.5-8B에서 +3.37점, Qwen2.5-VL-7B에서 +2.66점의 Avg. ∆를 달성했다. 또한 VisualProcessBench의 단계별 에러 탐지에서 BETAPRM은 기존 PRM과 비교해 대체로 동등한 micro-F1 성능을 유지했다. Lreg를 도입한 ablation은 κt의 보정 성능을 증가시키고 평균 성능을 +1.02포인트 개선한다. κt의 학습 동향은 초기 감소 후 점차 상승하는 경향을 보이며, 상위 분위수에서의 차별화된 컨센트레이션이 나타난다. ACA는 고정 예산 BoN 대비 토큰 소모를 크게 줄이면서도 정확도를 높이며, Learned Uncertainty를 활용한 BETAPRM 기반 ACA가 Proxy Uncertainty나 Reward-Only 대비 우수한 성능-토큰 절감을 보인다. 토큰 절감은 InternVL2.5-8B에서 평균 30%대, Qwen2.5-VL-7B에서도 27–33%대의 감소로 나타난다.

아키텍처: 프리픽스-조건 프로세스 보상. zYes_t, zNo_t 로짓에서 µt를 계산하고, κt를 독립 헤드로 예측한다. αt = µt κt, βt = (1−µt) κt로 Beta 분포를 정의한다. Kt|N ∼ Binomial(N, qt), qt ∼ Beta(αt, βt)일 때 p(Kt|N, αt, βt) = [NKt] B(Kt+αt, N−Kt+βt)/B(αt, βt)이다. 손실은 LBeta-Binomial = −(1/|P|) ∑ log p(Kt|N, αt, βt)이며, Lreg로 κt의calibration을 보정한다. Inference 시 σt = sqrt(µt(1−µt)/(κt+1))로 불확실성을 추정하고 rt = µt − λσt를 사용해 후보의 위험-조정 점수를 계산한다. ACA는 n0 샘플링 후 재샘플링 여부를 LCB, UCB로 결정하며, prefix repair는 cutpoint 규칙에 따라 수행한다. 데이터셋은 VisualPRM400K-v1.1을 사용하고, 4개의 멀티모달 백본 InternVL2.5-8B/InternVL3-8B/InternVL3-14B/Qwen2.5-VL-7B를 적용한다. 하이퍼파라미터는 AdamW 최적화, κmin, 초기 κ, Lreg 계수, Concentration-head LR 배율 등을 포함한다.

대상 데이터는 VisualPRM400K-v1.1로 한정되며, Beta-Binomial 감독이 해당 도메인에서만 확립되었다. Beta-Binomial 신뢰도는 학습된 신뢰 신호이므로, 고위험 상황에서 정확성 보장을 제공하지 않는다. 모듈 간의 일반화는 제한될 수 있으며, 다른 모달리티나 도메인에서의 전환은 추가 평가가 필요하다.