80/20 법칙을 넘어서: 고엔트로피 소수 토큰이 LLM 추론을 위한 강화학습을 주도한다

섹션별 상세

LLM의 추론 과정에서 발생하는 토큰 중 극히 일부만이 높은 엔트로피를 가지며 이들이 추론의 경로를 결정하는 핵심 분기점 역할을 한다. 연구진은 CoT 데이터를 분석하여 엔트로피가 높은 토큰이 모델이 서로 다른 논리적 경로를 선택하게 만드는 'Forking Tokens'임을 확인했다. 이러한 토큰들은 전체의 약 20%에 불과하지만 모델의 최종 정답 도출 여부에 결정적인 영향을 미친다. 이는 모든 토큰이 학습에 동일한 가치를 지니지 않는다는 것을 시사한다.

RLVR 학습 과정은 베이스 모델이 가진 기존 엔트로피 패턴을 크게 바꾸지 않으면서 고엔트로피 토큰의 확률 분포만을 정교하게 조정한다. 학습 전후의 엔트로피 변화를 추적한 결과, RLVR은 저엔트로피 토큰(확신이 있는 부분)은 그대로 유지하고 고엔트로피 토큰(불확실한 분기점)의 최적화에 집중하는 경향을 보였다. 이를 통해 강화학습이 모델의 지식을 새로 만드는 것이 아니라 기존 지식 내에서 최적의 경로를 선택하도록 정렬하는 과정임을 입증했다.

상위 20%의 고엔트로피 토큰에만 정책 경사(Policy Gradient) 업데이트를 적용하는 'Selective RLVR' 기법을 통해 학습 효율과 성능을 동시에 개선했다. Qwen3-32B 모델에 적용했을 때 AIME'25 벤치마크에서 +11.04점, AIME'24에서 +7.71점이라는 유의미한 성능 향상을 달성했다. 반면 하위 80%의 저엔트로피 토큰만 학습시켰을 때는 성능이 급격히 하락하여 추론 최적화의 핵심이 소수 토큰에 있음을 증명했다.

근거

상위 20%의 고엔트로피 토큰만 학습시켜 Qwen3-32B 모델의 AIME'25 점수를 11.04점 향상시켰다. — Abstract 및 결과 섹션의 수치 언급 출처
저엔트로피 토큰 80%만 학습시킬 경우 성능이 현저하게 저하된다. — Abstract의 'In contrast, training exclusively on the 80% lowest-entropy tokens leads to a marked decline' 문구

모델의 파라미터 규모가 커질수록 고엔트로피 토큰 중심의 학습이 더 큰 성능 이득을 가져오는 강력한 스케일링 법칙이 관찰됐다. 8B 모델에서는 전체 업데이트와 유사한 수준이었으나 14B와 32B 모델로 갈수록 선택적 업데이트의 우위가 뚜렷하게 나타났다. 이는 대형 모델일수록 추론의 핵심 분기점을 정확히 타격하는 학습 전략이 자원 효율성과 최종 정확도 측면에서 필수적임을 의미한다.

기술

Qwen3-8B
Qwen3-14B
Qwen3-32B
RLVR

활용 사례

LLM 추론 성능 고도화
강화학습 연산 효율화
수학 및 논리 문제 해결 모델 학습

언급된 리소스

논문Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning