가중 상호 정보량 데이터 선택을 통한 효율적인 RLVR 학습

강화학습(Reinforcement Learning, RL)은 대형 언어 모델(LLM)의 추론 능력 향상과 정렬(Alignment)에 핵심적인 역할을 하지만, 학습 효율은 훈련 데이터 선택 방식에 크게 의존합니다. 기존의 온라인 선택 전략은 주로 난이도 기반 휴리스틱(Difficulty-based heuristics)에 의존하며, 중간 정도의 성공률을 가진 데이터 포인트를 선호합니다. 이는 난이도를 정보량과 동일시하는 경향이 있어, 제한된 증거로 인해 발생하는 인식론적 불확실성(Epistemic uncertainty)을 간과하게 됩니다. 본 연구에서는 가중 상호 정보량(Weighted Mutual Information) 목적 함수를 기반으로 한 정보 유도형 데이터 샘플링 방법인 InSight(INformation-guided data SamplInG metHod for RL Training)를 소개합니다. 베이지안 잠재 성공률(Bayesian latent success rates)을 통해 데이터 결과를 모델링함으로써, 기대 불확실성 감소가 난이도 의존적 성분과 증거 의존적 성분으로 분해됨을 보여주며, 난이도 전용 선택 방식의 근본적인 한계를 밝혀냅니다. 이러한 관찰을 바탕으로 InSight는 노이즈가 섞인 샘플링 결과 대신 데이터 포인트의 성공에 대한 평균 믿음(Mean belief)을 기반으로 안정적인 획득 점수(Acquisition score)를 구축하며, 검증 가능한 보상을 동반한 강화학습(Reinforcement Learning with Verifiable Rewards, RLVR)에서 흔히 사용되는 다중 롤아웃(Multi-rollout) 설정으로 자연스럽게 확장됩니다. 광범위한 실험 결과, InSight는 일관되게 최첨단 성능을 달성하고 학습 효율을 개선하여, 계획 및 수학(Planning & Mathematics) 벤치마크에서 평균 +1.41점, 일반 추론에서 +1.01점의 향상을 기록했으며, 무시할 수 있는 수준의 추가 계산 비용만으로 최대 약 2.2배의 가속화를 실현했습니다.