가중 상호 정보량 데이터 선택을 통한 효율적인 RLVR 학습

LLM 강화학습에서 모든 데이터를 동일하게 학습하는 비효율을 해결하기 위해, 모델이 실제로 배울 것이 많은 데이터를 정교하게 골라내는 INSIGHT 프레임워크를 제안함. 이를 통해 학습 속도를 2.2배 높이면서도 수학 및 추론 성능을 유의미하게 개선함.

왜 중요한가

핵심 기여

INSIGHT 프레임워크 개발

정보 이론에 기반하여 RLVR 학습 효율을 극대화하는 데이터 선택 방법론임. 에피스테믹 불확실성과 난이도 편향을 결합하여 모델의 현재 지식 상태에 가장 적합한 데이터를 동적으로 선택함.

가중 상호 정보량(WMI) 지표 도입

상호 정보량을 통해 지식의 결여를 측정하고, 가중치 함수를 통해 적절한 난이도 구간을 필터링하는 새로운 데이터 획득 점수를 정의함. 이를 통해 단순 난이도 기반 선택의 한계를 극복함.

학습 가속화 및 성능 향상 달성

수학 및 계획 벤치마크에서 최대 2.2배의 학습 가속을 달성함. Qwen3-0.6B 모델 기준 평균 +1.41점, R1-Distill-Qwen-7B 모델 기준 +1.08점의 성능 향상을 기록함.

핵심 아이디어 이해하기

기존 강화학습의 데이터 선택은 주로 성공률이 50%에 가까운 '적당히 어려운' 문제를 고르는 난이도 기반 휴리스틱에 의존함. 하지만 이는 모델이 이미 해당 문제를 충분히 이해하여 더 이상 배울 것이 없는 상태임에도 불구하고, 단순히 성공률 수치만 보고 중복 학습을 수행하게 만드는 한계를 가짐. INSIGHT는 베이지안 관점에서 모델의 지식 상태를 확률 분포로 모델링하고, 특정 데이터를 학습했을 때 이 분포의 불확실성이 얼마나 줄어들지인 Mutual Information을 계산함. 이는 모델이 '무엇을 모르는지'를 정량적으로 파악하여 정보 가치가 높은 데이터를 우선적으로 선택하게 함. 여기에 학습 커리큘럼 원리를 결합하여, 너무 쉽거나 어려운 데이터는 배제하고 현재 모델의 역량에서 가장 효율적인 학습이 가능한 구간을 동적으로 찾아냄. 결과적으로 불필요한 연산을 줄이고 최적의 학습 경로를 구축함.

방법론

데이터별 성공률을 Beta 분포로 모델링함. [과거의 성공 횟수 알파와 실패 횟수 베타를 입력으로] → [Bayes' rule을 적용해 사후 확률 분포를 계산하여] → [모델이 각 데이터에 대해 가진 현재의 확신 수준을 확률적으로 표현함]. 에피스테믹 탐색을 위해 Mutual Information을 산출함. [현재 지식의 엔트로피와 보상 관측 후 기대 엔트로피의 차이를 계산해] → [이 데이터가 모델의 불확실성을 얼마나 제거할지 수치화하고] → [새로운 정보 획득량을 예측함]. 알레아토리 활용을 위해 가중치 함수를 적용함. [모델의 평균 성공률을 입력으로] → [가우시안 필터 연산을 수행해] → [적절한 난이도 구간에 높은 점수를 부여하고] → [학습 커리큘럼 효과를 유도함]. 최종적으로 WMI 점수가 높은 데이터를 기준으로 RL 학습 배치를 구성함. [WMI 점수를 입력으로] → [상위 M개의 데이터를 추출해] → [모델 파라미터를 업데이트하고] → [학습 효율을 극대화함].

주요 결과

Qwen3-0.6B 모델에서 RANDOM 선택 대비 수학 및 계획 벤치마크 평균 +1.40점의 성능 향상을 보였으며, AIME24에서는 +1.49점의 개선을 기록함. R1-Distill-Qwen-7B 모델에서도 RANDOM 대비 +1.08점의 향상을 달성함. 학습 효율성 분석 결과, Countdown 태스크에서 RANDOM 대비 최대 2.2배, 기존 최신 기법인 MOPPS 대비 약 1.5배 빠른 수렴 속도를 확인하며 동일 성능 도달에 필요한 컴퓨팅 자원을 대폭 절감함. 일반 추론 영역인 MMLU와 GPQA에서도 Qwen3-0.6B 기준 +1.01점의 평균 향상을 보이며, 특정 도메인에 국한되지 않는 범용적인 데이터 선택 성능을 입증함.

기술 상세

INSIGHT는 데이터의 잠재적 성공률을 확률 변수로 정의하고 이를 Beta 분포로 관리하는 베이지안 대리 모델 구조를 가짐. 이는 추가적인 LLM 추론 없이도 데이터의 유용성을 실시간으로 평가할 수 있게 함. 상호 정보량은 에피스테믹 불확실성의 감소량을 직접적으로 캡처하며, 이 값이 누적 증거량 n에 반비례하여 감소함을 이론적으로 증명함. 이는 모델이 데이터를 많이 볼수록 해당 데이터로부터 얻을 수 있는 정보량이 줄어든다는 직관을 수학적으로 정당화함. 다중 롤아웃 환경을 지원하기 위해 단일 보상 기반의 수식을 이항 분포 기반의 기대 엔트로피 감소량으로 확장하여 GRPO와 같은 최신 알고리즘과의 호환성을 확보함. 가중치 함수는 분산 필터와 가우시안 편향을 결합하여, 정보량 지표가 간과할 수 있는 학습 가능한 난이도에 대한 선호도를 명시적으로 조절함.

한계점

모델 규모가 작을 경우 너무 큰 후보군을 사용하면 오히려 노이즈가 증가하여 성능이 저하될 수 있는 하이퍼파라미터 민감도가 존재함.

실무 활용

RLVR 환경에서 학습 비용을 획기적으로 줄이면서도 모델의 추론 성능을 높일 수 있는 실전적인 데이터 선택 방법론임.

LLM 수학 및 코딩 능력 강화를 위한 강화학습 파이프라인 효율화
제한된 컴퓨팅 자원 환경에서의 효율적인 모델 정렬 학습
대규모 데이터셋 중 학습 가치가 높은 핵심 샘플 추출 및 필터링

코드 공개 여부: 비공개

키워드

RLVR(검증 가능한 보상이 있는 강화학습)Data Selection(데이터 선택)Mutual Information(상호 정보량)Epistemic Uncertainty(에피스테믹 불확실성)LLM Alignment(LLM 정렬)

용어 해설

검증 가능한 보상이 있는 강화학습(RLVR): — 수학 문제나 코드 실행 결과처럼 정답 여부를 명확히 확인할 수 있는 환경에서의 Reinforcement Learning임. 보상이 객관적이므로 모델의 추론 능력을 정밀하게 개선하는 데 필수적임.
에피스테믹 불확실성(Epistemic Uncertainty): — 모델이 특정 데이터를 충분히 학습하지 못해 발생하는 지식의 결여를 의미함. 데이터를 더 많이 관찰함으로써 줄일 수 있으며, 효율적인 학습을 위해 우선적으로 해소해야 할 대상임.
상호 정보량(Mutual Information): — 하나의 확률 변수를 관찰했을 때 다른 변수에 대해 얻게 되는 정보의 양을 측정함. 이 아티클에서는 보상을 관찰함으로써 모델의 성공률 예측이 얼마나 정확해지는지를 나타냄.
베타 분포(Beta Distribution): — 0과 1 사이의 값을 가지는 확률 변수의 분포를 모델링하는 데 사용됨. 성공과 실패 횟수를 바탕으로 모델의 현재 성공 확률을 추정하는 베이지안 업데이트에 최적화된 도구임.
알레아토리 불확실성(Aleatoric Uncertainty): — 데이터 자체의 난이도나 노이즈로 인해 발생하는 근본적인 무작위성을 의미함. 학습을 더 한다고 해서 줄어들지 않으며, 난이도 조절의 핵심 요소가 됨.

가중 상호 정보량 데이터 선택을 통한 효율적인 RLVR 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 추론을 위한 RL 재고: 능력 학습이 아닌 희소 정책 선택

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 추론을 위한 RL 재고: 능력 학습이 아닌 희소 정책 선택