LLM 강화학습의 학습-추론 미스매치를 목표 관점에서 재정의한 MIPI와 이를 실현한 MIPU

대형 언어모델 후처리에서 강화학습은 정책 개선을 목표로 하지만, 실제 배포에 사용되는 추론 엔진과 학습 엔진의 구현 차이가 동일한 업데이트가 배포 환경에서 실현되지 못하도록 만들었다. 이 논문은 그러한 시스템 수준의 불일치가 곧 정책 개선의 목적 자체를 바꾼다는 관점을 제시하며, 배포 성능을 직접 목표로 삼는 방식으로 문제를 재정의했다. 결과적으로 롤아웃이 양자화되거나 서빙 구현이 다른 현실적 환경에서 안정적이고 일관된 성능을 유지하는 방법을 제공했다.

대형 언어모델의 토큰 생성은 정책 π에 의해 확률 분포가 결정되며 강화학습 업데이트는 일반적으로 학습 엔진 내부의 surrogate objective를 최대화하도록 설계된다. 그러나 현대 파이프라인에서는 롤아웃을 생성하는 추론 엔진 μ와 그 확률을 계산해 업데이트하는 학습 엔진 π가 구현·정밀도 차이로 서로 다른 분포를 보일 수 있다. 이 분포 차이는 중요도 보정 및 이점(advantage) 추정에 왜곡을 낳아 학습상으로 유의미해 보이는 업데이트가 배포 측면에서는 성능 저하를 초래할 수 있다.

목표 재정의는 추론 정책의 성능 차이를 직접 분해한 식 J(μ_{k+1})−J(μ_k)= [J(μ_{k+1})−J(π_{k+1})] + [J(π_{k+1})−J(π_k)] + [J(π_k)−J(μ_k)]로 수학적으로 표현된다. 이 분해에서 두 항(중간 항과 사전-업데이트 격차)을 후보 구성 문제로 묶어 샘플러 참조 서로게이트로 최적화하고, 첫 번째 항(사후-업데이트 격차)은 동기화 후 검증으로 취급한다. 이러한 구조는 트레이너가 제안한 개선이 추론기로 동기화될 때 실제로 실현되는지 별도 검증하도록 강제한다.

주요 벤치마크 실험은 FP8-quantized rollout 환경에서 Qwen3-4B와 Qwen3-1.7B 모델을 대상으로 수행되었다. Qwen3-4B에서 MIPU는 다섯 개 수학 벤치마크의 평균 pass@1 66.71%를 달성했으며 Qwen3-1.7B에서는 평균 53.97%를 기록하여 동일 환경의 baselines보다 높은 평균 성능과 더 안정적인 학습 곡선을 보였다. 특히 Qwen3-4B에서는 AMC23에서 85.00%와 Minerva에서 45.96%를 기록하는 등 몇몇 데이터셋에서 성능 우위를 보였다.

전체 아키텍처는 트레이너 내부 정책 π와 추론기 정책 μ의 분리를 명시적으로 유지하면서 매 업데이트마다 후보 생성 후 동기화·검증·롤백 루프를 적용한다. 구현상 Step 1의 서로게이트는 트렁크된 샘플러 보정치 bar{w}_i^k와 현재 업데이트 비율 r_i(θ)를 분리해 PPO 스타일의 클리핑을 r_i에만 적용하는 형태(Equation 7)를 사용하며, 이는 사전-비대칭(w_i^k)의 과도한 분산을 제어한다. 이때 w_i^k는 π_k/μ_k이고 bar{w}i^k=min(w_i^k,w^*{max}) 형태로 제한한다.

논문에서 명시한 제약은 실험이 중간 규모 모델에 국한되었다는 점이며 대규모 모델과 다양한 RL 시스템에서 동일한 미스매치 패턴이 재현되는지는 추가 실험이 필요하다고 적시되어 있다. 또한 Step 2의 검증 프록시는 유효한 한 가지 구현 사례로 다루어졌고 더 효율적이거나 정확한 검증 추정기는 향후 연구 대상으로 남아 있다.