안락한 영역을 벗어나게 하는 넛지: RLVR를 위한 전략 주도형 탐색의 효율화

RLVR의 핵심은 탐색의 질이다. naive 롤아웃 확장은 비용이 매우 크고, 정책이 이미 샘플링한 경로에만 개선이 가능하다. 본 연구는 Strategy Nudging으로 컨텍스트를 도입해 다양한 추론 모드를 강제 탐색하도록 하고, Inter-Intra Group Advantage와 디스틸레이션으로 발견된 유용한 전략을 기본 프롬프트 정책으로 전이시킴으로써 적은 롤아웃으로도 GRPO 대비 우수한 성능을 달성한다. 실험에서 8배 큰 롤아웃 예산을 사용한 GRPO를 능가하고, oracle 기반 프리픽스 방법보다도 우수한 성과를 보인다.

출발점: RLVR은 샘플링된 트레이젝토리의 품질에 크게 좌우되며, 샘플링 확장을 무작정 늘리는 것은 계산 비용과 아직 탐색되지 않은 영역의 샘플 부족 문제를 해결하지 못한다. 해결 원리: 1) Strategy Nudging으로 입력 차원에서 다양한 전략-수준의 맥락을 추가해 모델이 서로 다른 추론 모드를 시도하도록 강제한다. 2) Inter-Intra Group Advantage로 context별 기여도와 글로벌 기여를 모두 고려한 크레딧 분배를 통해 컨텍스트 간 편향을 보정한다. 3) Distillation을 통해 context-conditioned 롤아웃에서 발견된 유용한 전략을 base 프롬프트 정책으로 전이시킨다. 결과적으로 샘플 구성은 다양해지면서도 학습 신호의 품질은 유지되며, 추론 시 컨텍스트 없이도 효과적인 전략이 재현된다.

전략-넛지: 각 Rollout마다 하나의 Strategy context를 샘플링한다. 컨텍스트 풀 C(x0)에서 c(i)을 Uniform로 샘플하고, pdrop에 따라 Dropout 마스크를 적용해 x^(i) = (x0, z(i))를 구성한다. y_i ~ π_theta(·|x^(i))를 샘플링한다. Inter-Intra Group Advantage: 롤아웃들을 z(i)로 그룹화하고, 각 그룹의 평균 보상 r̄_g와 전체 평균 r̄를 구한 후 Ai를 아래와 같이 정의한다. 이를 바탕으로 L_NUDGERL = L_RL(θ) + λ_distill L_distill으로 학습한다. Distillation: L_distill(θ) = - E_{y~πθ(·|x1)} [ Â log πθ(y|x0) ]로, 컨텍스트 조건부에서 높은 어드밴티지의 트레이젝토리를 base 프롬프트 정책으로 전달한다.

주요 벤치마크에서의 성능: Qwen3-4B-Instruct-2507에서 NUDGERL은 8-rollouts로 평균 0.489를 달성, GRPO의 32-rollouts(0.487)를 소폭 상회하고 64-rollouts(0.451) 대비 우수하다. Olmo-3-7B-Instruct-SFT에서도 NUDGERL은 0.285로 GRPO의 32-rollouts(0.281)보다 우수하다. 또한 POPE 기반 oracle-prefix 방법보다 일관되게 우수한 성능을 보였다. 학습 다이나믹스에서 Strategy Nudging은 학습 초기에 더 빠른 개선을 보여주며, k 증가에 따른 pass@k에서도 GRPO 대비 상향 곡선을 유지한다. 사례 연구에서 SHOELACE 공식 전략의 활용이 GRPO 대비 더 높은 정답률로 이어졌다.

아키텍처: RLVR에 Strategy Nudging을 적용하여 context-conditioned 롤아웃 생성. 수식적 제어: A_i 계산은 그룹 내 보상 차이와 컨텍스트 간 보상 차이를 함께 반영하도록 정의되며, λ ∈ [1,2]에서 일관된 순서를 보장한다. 학습 신호: L_RL(θ)과 L_distill(θ) 합으로 목표를 설정하며, distill은 컨텍스트로 발견된 고성능 경향을 base 프롬프트 정책으로 전달한다. 수식 구현의 핵심 포인트는 그룹-기반 평균 기대치와 컨텍스트 평균 간의 차이를 이용한 어드밴티지 계산, 그리고 컨텍스트 특징이 학습에 반영되도록 하는 distillation 신호의 가중치 조정이다.

고정된 컨텍스트 풀의 효과는 학습 진행에 따라 감소할 수 있다. 또한 Strategy Nudging의 컨텍스트 생성 비용은 offline에서 한 번만 수행되므로 재사용이 필요하지만, 정책 변화에 따라 컨텍스트의 효율성이 달라질 수 있다.