TL;DR
RLVR의 희박한 보상 문제를 극복하기 위해 hard 문제를 verifiable subproblems로 분해하는 SCRL을 제안한다. 하위 문제는 verifiable한 해답이 있어 학습 신호를 촘촘히 제공하고, 롤아웃 중간 단계의 진행을 크레딧으로 반영한다. 여덟 벤치마크에서 GRPO 대비 일관된 성능 향상을 보여주며, 난이도가 커질수록 얻는 이득이 커진다.
왜 중요한가
RLVR의 희박한 보상 문제를 극복하기 위해 hard 문제를 verifiable subproblems로 분해하는 SCRL을 제안한다. 하위 문제는 verifiable한 해답이 있어 학습 신호를 촘촘히 제공하고, 롤아웃 중간 단계의 진행을 크레딧으로 반영한다. 여덟 벤치마크에서 GRPO 대비 일관된 성능 향상을 보여주며, 난이도가 커질수록 얻는 이득이 커진다.
핵심 기여
SCRL 프레임워크(하위 문제 커리큘럼)
Hard 문제를 verifiable subproblems로 분해하고, 최종 하위 문제를 원 문제로 고정한 뒤 하나의 on-policy 롤아웃에서 중간 progress를 학습 신호로 활용한다.
하위 문제 수준 정규화
서브프로블럼 위치별로 보상을 독립적으로 정규화하고, 해당 이점을 해당 답안 구간의 토큰에 매핑하여 세밀한 크레딧 할당을 가능하게 한다.
이론적 보장
정보 기하학 기반의 EGIM/FT를 도입해 gradient dead zone 문제를 완화하고, 서브프로블럼 변환의 학습 기하를 회복한다.
실험적 성과
다양한 벤치마크에서 GRPO 대비 평균 향상 및 hard 벤치마크에서의 강한 증가를 보이며, K의 증가에 따른 이득 증대가 관찰된다.
핵심 아이디어 이해하기
- 수치적 배경: RLVR은 최종 정답의 보상으로 학습 신호를 얻지만, 어려운 문제에서 보상은 희박해 Gradient가 거의 없는 dead zone에 빠질 수 있다. - SCRL의 근본 아이디어: hard 문제를 K개의 verifiable subproblems로 분해하고, 각 하위 문제는 해답이 객관적으로 검증 가능하도록 구성한다. 이때 모든 하위 문제를 한 번의 on-policy 롤아웃에서 풀되, 각 하위 문제의 답안은 태그로 구분되어 토큰 단위 학습 신호로 역전파된다. - 결과로 얻는 효과: 부분 진행(progress)을 학습 신호로 사용하므로 더 dense한 피드백이 가능하고, 하위 문제 간의 순차적 의존성으로 학습이 더 견고해진다. 노골적인 외부 힌트 없이도 모델이 자체적으로 중간 추론을 구성하고 이를 바탕으로 최종 문제를 풀게 된다. - 이점의 크기: 문제의 난이도가 커질수록 subproblem 분해에 의한 회복 비율이 커지며, gradient 정보가 비-퇴화 영역에서 더 잘 회복된다.
관련 Figure
SCRL의 주요 아이디어가 시각적으로 요약된 도식으로, 커리큘럼 도입이 학습 신호를 촘촘히 만들고 학습 효율을 높임을 시각적으로 확인시켜준다.
SCRL의 교과과정 부재 대 교과과정 도입 비교를 도식으로 제시
방법론
- Subproblem 생성: 전문가/외부 LLM이 reference solution으로부터 s(1)...s(K)라는 K개의 verifiable subproblems를 생성하고, final subproblem은 원 문제 x로 고정한다. 2) Curriculum rollout: tK(x) 프롬프트로 모든 K개의 하위 문제를 한 번에 제시하고 모델이 차례대로 풀도록 요구한다. 3) Progress-aware 보상: 각 서브프로블럼에 대해 얻은 원시 보상 벡터를 커리큘럼 진행 ki로 잘라내어, 가장 앞에서부터 연속으로 해결한 구간만 크레딧을 부여하도록 보상 수정(0으로 잘라냄). 4) Subproblem-level normalization 및 토큰 단위 크레딧 할당: 각 subproblem 위치 j에 대해 A(j)i를 계산하고, 이 값을 해당 subproblem의 토큰에 매핑한다. 5) Mixed-group training: curriculum 롤아웃과 original-problem 롤아웃을 혼합하여 업데이트한다. 6) 학습 목표: L_SCRL = 커리큘럼 롤아웃의 크레딧 기반 손실 + 원 문제 롤아웃의 GRPO 손실을 결합한 PPO 계열 최적화.
관련 Figure
하위 문제 생성과 커리큘럼_rollout의 구조를 시각화하여 methodology의 흐름을 명확히 보여준다.
SCRL의 메인 아이디어를 구성하는 흐름도와 학습 구조
Subproblem construction과 token-level 크레딧 할당의 구체적 흐름을 보여주며 methodology의 핵심 기여를 보강한다.
하위 문제 생성, 커리큘럼 프롬프트, 혼합 그룹 학습의 상세 구성
주요 결과
- 메인 벤치마크: Qwen3-4B-Base에서 SCRL의 AVG=35.0로 GRPO의 AVG=30.9 대비 +4.1 포인트, Qwen3-14B-Base에서 SCRL의 AVG=38.3으로 GRPO 대비 +1.9 포인트 차이가 나타남. - Hard 벤치마크: AIME’24/AIME’25/IMO-Bench에서 pass@1 +3.7, pass@64 +4.6의 향상. - OOD 평가: Qwen3-14B-Base에서 SCRL이 GPQA/HumanEval/LiveCodeBench v6에서 각각 41.41/89.02/24.57로 베이스 및 GRPO 대비 개선. - Ablation: K=4(4개의 서브프로블럼)으로 설정 시 AVG 44.2로 K=2/3에 비해 가장 높음. - 서브프로블럼 제너레이터 품질: DeepSeek-V3.2를 사용할수록 4.2~4.0 포인트 수준의 추가 이점이 보고되며, Qwen3-4B-Instruct보다 DeepSeek가 더 큰 이점을 준다.
관련 Figure
주요 결과를 시각화한 그래프이며, SCRL의 벤치마크 성능 향상을 직관적으로 보여준다.
AIME24 Pass@k 벤치마크의 성능 비교 그래프
커리큘럼 진행도 분포와 ki>0 비율의 변화를 시각화하여 벤치마크 학습의 하향-상향 경로를 보조한다.
커리큘럼 진행도 지표(ki 분포) 그래프
다양한 서브프로블럼 설정에서의 커리큘럼 진전 상태를 비교해 방법의 안정성과 효용성을 강조한다.
커리큘럼 진행도 ki 분포의 최종 분포 비교 그래프
다양한 K 값의 curriculum rollout 비중이 학습 효과에 미치는 영향을 시각화한다.
커리큘럼 롤아웃 비율과 학습 진행의 상관 관계를 보여주는 그래프
실무 활용
SCRL은 Hard 문제를 서브프로블럼으로 분해하고 학습 신호를 촘촘히 만들어 LLM 추론 능력을 강화하는 RLVR 프레임워크이다. 프로덕션 환경에서 커리큘럼 기반 RL에 적용 시, 추론 경로의 중간 단계를 학습 신호로 활용해 성능 및 일반화가 개선될 수 있다.
- 수학 추론·논리 문제 해결을 위한 LLM 학습 강화
- RLVR 프레임워크의 커리큘럼 롤아웃 설계
- 하위 문제 기반의 크레딧 할당으로 모델 탐색성 증대
- 고난이도 문제에 대한 해결 능력 향상을 목표로 하는 교육용 LLM 시스템
코드 공개 여부: 미확인
키워드
용어 해설
- Subproblem
- — SCRL에서 hard 문제를 구성하는 verifiable subproblems의 순서를 의미하며, 각 하위 문제는 독립적으로 확인 가능한 정답을 가짐으로써 학습 신호를 밀집화한다.
- Curriculum Learning
- — 난이도가 증가하는 순서로 문제를 제시하여 모델이 점진적으로 더 어려운 문제를 해결하도록 학습하는 방법으로, SCRL의 핵심 구성 요소이다.
- RLVR
- — Reinforcement Learning from Verifiable Rewards의 약자로, 검증 가능한 보상을 통해 보상을 얻는 학습 패러다임이다.
- Subproblem-level Normalization
- — 각 하위 문제 위치에서 보상을 독립적으로 정규화하고 이를 토큰 단위 크레딧에 매핑하는 학습 신호 조정 기법이다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.