V0.5: 희소한 강화학습 롤아웃을 위한 사전 지식으로서의 범용 가치 모델

강화학습에서 정확한 보상 예측은 모델 학습의 안정성을 결정짓는 핵심 요소이지만, 복잡한 추론 문제에서는 데이터를 얻는 비용이 너무 커서 학습이 불안정해지는 문제가 있다. 이 논문은 미리 학습된 범용 가치 모델을 사전 지식으로 활용하고 실제 데이터와 통계적으로 결합하여 적은 데이터로도 빠르고 안정적으로 학습할 수 있는 새로운 프레임워크를 제시한다.

강화학습의 Policy Gradient 방식은 모델이 내놓은 결과가 평균보다 얼마나 좋은지(Advantage)를 계산해 학습한다. 이때 '평균'을 정확히 아는 것이 중요한데, 수학 문제처럼 풀이 과정이 길면 샘플을 많이 뽑기 어려워 평균값이 크게 흔들리고 학습이 망가지는 문제가 발생한다. 기존에는 이를 해결하기 위해 가치 모델을 동시에 학습시켰으나, 이는 연산 비용이 크고 모델이 서로 꼬이는 문제가 있었다.

V0.5의 핵심 아이디어는 이미 다양한 모델의 능력을 학습한 '범용 가치 모델(V0)'을 고정된 사전 지식(Prior)으로 사용하는 것이다. 마치 숙련된 채점관이 미리 예상 점수를 주는 것과 같다. 하지만 채점관도 처음 보는 유형의 문제에서는 실수(환각)를 할 수 있다. V0.5는 통계학의 Shrinkage 개념을 도입해, 샘플이 적을 때는 채점관의 말을 믿고 샘플이 쌓이면서 채점관의 예측과 실제 결과가 다르면 점차 실제 데이터의 비중을 높이는 방식으로 작동한다.

결과적으로 아주 적은 수의 샘플(그룹 크기 4)만으로도 수만 개의 샘플을 뽑은 것과 같은 안정적인 학습 신호를 만들어낸다. 이는 학습 과정에서 Gradient가 튀는 현상을 막아주며, 모델이 너무 빨리 특정 정답에만 매몰되지 않고 더 넓게 탐색할 수 있도록 돕는다.

V0.5 프레임워크는 크게 두 단계의 논리적 과정으로 구성된다. 첫 번째는 사전 지식과 관측 데이터를 결합하는 Empirical Shrinkage Fusion 단계이다. 먼저 고정된 범용 가치 모델 V0로부터 예측값 V를 얻고, 정책 모델로부터 초기 k개의 롤아웃을 수행해 샘플 평균 v_k를 계산한다. 이후 수식 8을 통해 가중치 w를 결정하는데, [추정된 편향의 제곱과 노이즈 분산 1/k을 입력으로] -> [분수 연산을 수행해] -> [0에서 1 사이의 가중치 w를 얻고] -> [이 값이 클수록 실제 데이터를, 작을수록 사전 지식을 더 신뢰하게 된다]. 최종 기준점은 이 가중치를 이용한 볼록 조합(Convex Combination)으로 산출된다.

두 번째는 동적 예산 할당을 위한 Sequential OSLA Allocation 단계이다. 시스템은 현재 융합된 기준점의 불확실성을 실시간으로 평가한다. 수식 12의 최적 정지 규칙에 따라, [계산 비용 c와 현재의 편향 추정치를 입력으로] -> [부등식 연산을 수행해] -> [최적의 샘플 수 K*를 도출하고] -> [추가 샘플링으로 얻는 통계적 이득이 비용보다 크면 롤아웃을 더 진행한다]. 이 과정은 사전 지식의 환각이 의심될 때만 선택적으로 계산 자원을 더 투입하게 하여 효율성을 극대화한다.

V0.5는 AIME 2024, AIME 2025, Olympiad Bench, MATH500, Minerva Math, AMC 2023 등 6개 수학 추론 데이터셋에서 평가되었다. 모든 벤치마크에서 기존의 대표적 알고리즘인 GRPO와 DAPO를 압도하는 성능을 보였다. 특히 최종 정확도 측면에서 10% 이상의 향상을 기록했으며, 학습 초기부터 높은 품질의 Advantage 신호를 제공받아 수렴 속도 또한 현저히 빨라졌다.

안정성 분석 결과, V0.5는 학습 전 과정에서 GRPO 대비 훨씬 낮고 안정적인 Gradient Norm을 유지했다. 이는 희소한 샘플링 환경에서도 Baseline의 MSE를 효과적으로 억제했음을 의미한다. 또한 정책의 Entropy가 학습 후반부까지 높게 유지되었는데, 이는 노이즈가 적은 학습 신호 덕분에 모델이 국소 최적점(Local Optima)에 빠지지 않고 복잡한 추론 공간을 충분히 탐색할 수 있었음을 보여준다.

V0.5는 사전 학습된 V0 모델을 Critic으로 활용하되, 이를 정책 모델과 동기화하여 학습시키지 않는 'Zero-Gradient Advantage' 패러다임을 따른다. V0 아키텍처는 LLM 임베딩을 사용하는 Semantic-Perception Backbone, 학습 가능한 쿼리를 사용하는 Residual Query Adapter, 그리고 단일 패스 베이지안 추론을 수행하는 TabPFN 헤드로 구성되어 다양한 정책의 능력을 인컨텍스트(In-Context)로 파악한다.

이론적으로 본 연구는 Baseline의 MSE가 정책 경사의 분산을 증폭시키는 핵심 요인임을 증명했다(Theorem 3.1). V0.5는 의도적으로 약간의 편향(Bias)을 허용하는 대신 MSE를 획기적으로 낮추는 전략을 취한다. 융합된 추정치의 편향은 1/sqrt(k) 이내로 엄격히 제한되며, 샘플 수 k가 증가함에 따라 O(1/k)의 속도로 빠르게 감소하여 통계적 안전성을 확보한다.

구현 측면에서는 sglang 엔진을 사용하여 32개의 GPU에서 학습을 진행했으며, Qwen3-4B-Instruct 모델을 베이스로 사용했다. 동적 예산 할당 시 하드웨어 효율을 위해 전체 배치의 25% 미만이 추가 샘플링을 요구할 때까지만 생성을 지속하고, 텐서 병렬화 효율을 위해 할당된 예산을 32의 배수로 패딩하는 등의 엔지니어링 최적화를 적용했다.

본 논문의 유도 과정은 보상 공간이 {-1, 1}인 이진 보상 환경을 가정하고 있어, 연속적인 점수를 주는 보상 환경으로 확장할 경우 통계적 경계값에 대한 추가적인 재설계가 필요할 수 있다.