가중 상호 정보량 데이터 선택을 통한 효율적인 RLVR 학습

LLM 강화학습에서 모든 데이터를 동일하게 학습하는 비효율을 해결하기 위해, 모델이 실제로 배울 것이 많은 데이터를 정교하게 골라내는 INSIGHT 프레임워크를 제안함. 이를 통해 학습 속도를 2.2배 높이면서도 수학 및 추론 성능을 유의미하게 개선함.

기존 강화학습의 데이터 선택은 주로 성공률이 50%에 가까운 '적당히 어려운' 문제를 고르는 난이도 기반 휴리스틱에 의존함. 하지만 이는 모델이 이미 해당 문제를 충분히 이해하여 더 이상 배울 것이 없는 상태임에도 불구하고, 단순히 성공률 수치만 보고 중복 학습을 수행하게 만드는 한계를 가짐. INSIGHT는 베이지안 관점에서 모델의 지식 상태를 확률 분포로 모델링하고, 특정 데이터를 학습했을 때 이 분포의 불확실성이 얼마나 줄어들지인 Mutual Information을 계산함. 이는 모델이 '무엇을 모르는지'를 정량적으로 파악하여 정보 가치가 높은 데이터를 우선적으로 선택하게 함. 여기에 학습 커리큘럼 원리를 결합하여, 너무 쉽거나 어려운 데이터는 배제하고 현재 모델의 역량에서 가장 효율적인 학습이 가능한 구간을 동적으로 찾아냄. 결과적으로 불필요한 연산을 줄이고 최적의 학습 경로를 구축함.

데이터별 성공률을 Beta 분포로 모델링함. [과거의 성공 횟수 알파와 실패 횟수 베타를 입력으로] → [Bayes' rule을 적용해 사후 확률 분포를 계산하여] → [모델이 각 데이터에 대해 가진 현재의 확신 수준을 확률적으로 표현함]. 에피스테믹 탐색을 위해 Mutual Information을 산출함. [현재 지식의 엔트로피와 보상 관측 후 기대 엔트로피의 차이를 계산해] → [이 데이터가 모델의 불확실성을 얼마나 제거할지 수치화하고] → [새로운 정보 획득량을 예측함]. 알레아토리 활용을 위해 가중치 함수를 적용함. [모델의 평균 성공률을 입력으로] → [가우시안 필터 연산을 수행해] → [적절한 난이도 구간에 높은 점수를 부여하고] → [학습 커리큘럼 효과를 유도함]. 최종적으로 WMI 점수가 높은 데이터를 기준으로 RL 학습 배치를 구성함. [WMI 점수를 입력으로] → [상위 M개의 데이터를 추출해] → [모델 파라미터를 업데이트하고] → [학습 효율을 극대화함].

Qwen3-0.6B 모델에서 RANDOM 선택 대비 수학 및 계획 벤치마크 평균 +1.40점의 성능 향상을 보였으며, AIME24에서는 +1.49점의 개선을 기록함. R1-Distill-Qwen-7B 모델에서도 RANDOM 대비 +1.08점의 향상을 달성함. 학습 효율성 분석 결과, Countdown 태스크에서 RANDOM 대비 최대 2.2배, 기존 최신 기법인 MOPPS 대비 약 1.5배 빠른 수렴 속도를 확인하며 동일 성능 도달에 필요한 컴퓨팅 자원을 대폭 절감함. 일반 추론 영역인 MMLU와 GPQA에서도 Qwen3-0.6B 기준 +1.01점의 평균 향상을 보이며, 특정 도메인에 국한되지 않는 범용적인 데이터 선택 성능을 입증함.

INSIGHT는 데이터의 잠재적 성공률을 확률 변수로 정의하고 이를 Beta 분포로 관리하는 베이지안 대리 모델 구조를 가짐. 이는 추가적인 LLM 추론 없이도 데이터의 유용성을 실시간으로 평가할 수 있게 함. 상호 정보량은 에피스테믹 불확실성의 감소량을 직접적으로 캡처하며, 이 값이 누적 증거량 n에 반비례하여 감소함을 이론적으로 증명함. 이는 모델이 데이터를 많이 볼수록 해당 데이터로부터 얻을 수 있는 정보량이 줄어든다는 직관을 수학적으로 정당화함. 다중 롤아웃 환경을 지원하기 위해 단일 보상 기반의 수식을 이항 분포 기반의 기대 엔트로피 감소량으로 확장하여 GRPO와 같은 최신 알고리즘과의 호환성을 확보함. 가중치 함수는 분산 필터와 가우시안 편향을 결합하여, 정보량 지표가 간과할 수 있는 학습 가능한 난이도에 대한 선호도를 명시적으로 조절함.

모델 규모가 작을 경우 너무 큰 후보군을 사용하면 오히려 노이즈가 증가하여 성능이 저하될 수 있는 하이퍼파라미터 민감도가 존재함.