DenoiseRL: 노이즈 프리픽스에서 회복하도록 추론 모델을 부트스트래핑하는 RL 프레임워크

대형 언어 모델의 추론 능력은 종종 강력한 교사나 정교한 데이터 설계에 의존한다. DenoiseRL은 weak-model의 오류를 구조화된 노이즈로 활용해 회복형 RL 학습 신호를 만들고, 외부 감독 없이도 학습 데이터를 확장하며 탐색 효율을 높인다. 결과적으로 수학적·일반 추론 벤치마크에서 강한 온-정책 RL 기반보다 일관되게 향상된 성능과 더 강한 자기 수정 능력을 보인다.

1. 출발점과 한계: RL 기반 추론에서 효과적인 학습 신호는 종종 강한 교사나 정교한 데이터에 의존한다. 이로 인해 데이터 수집 비용이 커지고 확장성이 제한된다. 2) 해결 원리: weak-model의 잘못된 중간 추론을 구조화된 noise로 삼아, prefix를 주입하고 정책이 이를 denoise하도록 학습한다. 이는 학습 시나리오의 다양성을 확대하고 회복 능력을 직접 학습시키는 방식이다. 3) 달라지는 점: 두 롤아웃(메인 + denoise)으로 학습 분포를 혼합해, 문제를 처음부터 해결하는 능력과 corrupted 상태에서의 회복 능력을 동시에 키운다. 4) 기대 효과: 더 넓은 탐색 공간과 강한 자기 교정 성향을 강화해 수학 및 일반 추론 벤치마크에서 일관된 성능 향상을 달성하고, 더 긴 추론 경로에서의 안정적인 학습 동향을 촉진한다.

단계1: 데이터 및 프롬프트 구성 - training 데이터집합 Q를 샘플링하고, weak 모델에서 올바르지 않은 prefix를 선별한다. 단계2: 롤아웃 구성 - main rollouts(N)은 표준 on-policy 방식으로 수행하고, denoise rollouts(K)는 잘못된 prefix에서 시작하여 p 토큰만 유지한 뒤 q에 대해 pi_theta(·|q, w1:p)로 이어진다. 단계3: 프레이밍 - folding을 적용해 y~를 생성하고 verifier로 보상을 받으며, on-policy continuation 부분만 학습에 반영한다. 단계4: 학습 목표 - PPO 기반의 TV-like surrogate를 이용한 토큰 단위의 GRPO 이득을 계산하고, J(θ) = (N/(N+K)) J_main(θ) + (K/(N+K)) J_denoise(θ) 형태로 최적화한다. 단계5: 하이퍼파라미터 및 안정성 - prefix 비율 ρ, denoise 롤아웃 수 K, output budget의 길이 페어링(p+L ≤ R)을 조정한다. 단계6: 평가 - 수학 및 일반 추론 벤치마크(MATH500, AMC23, AIME24, AIME25, BBEH)에서 성능을 비교한다.

주요 벤치마크 결과: Qwen3-4B-Base에서 GRPO의 Avg.가 39.6%에서 42.0%로 증가, DAPO의 Avg.가 39.8%에서 41.5%로 증가했다. DenoiseRL-GRPO는 AMC23와 BBEH에서 최상위 성능을 달성했고, 8B 모델에서도 DenoiseRL-DAPO가 44.8%의 Avg를 기록하며 최고를 보였다. Qwen3-8B-Base에서도 DenoiseRL은 GRPO를 43.0%에서 43.3%로 소폭 향상시키고, DAPO는 42.8%에서 44.8%로 상승했다. 표1의 수치를 그대로 반영하면 DenoiseRL은 두 모델 규모에서 모두 GRPO/DAPO 대비 일관된 평균 향상을 유도한다.

아키텍처: 두 종류의 롤아웃(main, denoise)을 함께 학습하는 단일 정책 최적화 구조를 따른다. 입력 q에 대해 main rollouts y ∼ π_θ(·|q)와 denoise rollouts y>p ∼ π_θ(·|q, w1:p)을 생성하고, 프레임워크의 목표는 두 롤아웃의 합으로 정의된다. 수식적으로, 그룹 G(q) = {1, ..., N+K}에 속한 각 롤아웃의 보상 r_i ∈ {0,1}를 사용해 A_i = (r_i − μ_q) / (σ_q + ε)를 계산하고, r_i,t(θ) = π_θ(y_i,t | c_i,t, y_i,<t) / π_old(y_i,t | c_i,t, y_i,<t)로 정의한다. 그 후 PPO의 원형 보상과 clipping을 적용한 L_PPO_i(θ)를 계산한다: L_PPO_i(θ) = Σ_t min( r_i,t(θ) Â_i,t, clip(r_i,t(θ), 1−ε_low, 1+ε_high) Â_i,t ). 최종 목적 J(θ) = (N/(N+K)) J_main(θ) + (K/(N+K)) J_denoise(θ)로 정의되며, J_main(θ) = E_q∼D [ y∼π_main,old (·|q) L_PPO(θ; q, y) ], J_denoise(θ) = E_q∼D, w∼W(q) [ y∼π_denoise,old (·|q,w) L_PPO(θ; q, w1:p, y) ]. 모의 학습에서 B배치당 평균으로 근사하며, p는 ρ|w|의 정수 하한으로 정의된다. folding: y~는 prefix 길이 p를 포함하고 남은 L 토큰은 남은 예산(R−p) 내에서 유지한다. 오프-정책 프리픽스에 대한 업데이트는 안정성 이슈를 초래하므로 기본 설정에서 역활 제한이 권장된다.

연구는 weak-model의 품질에 의존하며, 프리픽스 길이가 지나치게 길면 회복 과정이 과도한 자기의심으로 이어져 추론 시간이 증가한다. 또한 off-policy prefix 업데이트는 PPO 비율의 적용에도 불구하고 학습 안정성에 악영향을 줄 수 있다. 정책/데이터 분포 차이가 큰 경우 학습이 불안정해질 수 있다.