TL;DR
인간 라벨이 없는 강화학습(제로 RL)으로도 대규모 사전학습 모델에서 고품질의 단계적 추론을 유도할 수 있다는 점은 인건비가 큰 CoT 데이터 의존을 크게 낮출 수 있음을 의미한다. 1조 파라미터 수준으로의 확장은 샘플 효율과 성능 상한을 동시에 끌어올려, 기존의 수작업 휴리스틱 없이도 복잡한 추론 전략이 자발적으로 형성되었다는 사실을 확인했다. 이는 장기적으로 추론 품질과 토큰 비용을 함께 고려하는 자동화된 학습 설계로 이어질 수 있다.
왜 중요한가
인간 라벨이 없는 강화학습(제로 RL)으로도 대규모 사전학습 모델에서 고품질의 단계적 추론을 유도할 수 있다는 점은 인건비가 큰 CoT 데이터 의존을 크게 낮출 수 있음을 의미한다. 1조 파라미터 수준으로의 확장은 샘플 효율과 성능 상한을 동시에 끌어올려, 기존의 수작업 휴리스틱 없이도 복잡한 추론 전략이 자발적으로 형성되었다는 사실을 확인했다. 이는 장기적으로 추론 품질과 토큰 비용을 함께 고려하는 자동화된 학습 설계로 이어질 수 있다.
핵심 기여
안정적이고 간결한 대규모 제로 RL 파이프라인 설계
클리핑 중요도 샘플링을 기반으로 학습-추론 엔진 간 비율 보정과 KL 페널티를 결합하고, 자기증류와 샘플 수준 손실로 길이 편향을 제어해 1조 파라미터 모델에서 안정적 학습을 달성했다. 인프라 측면에서는 attention softmax와 LM head를 FP32로 처리하는 혼합정밀도 제어와 MLA/Lightning Attention에 맞춘 컨텍스트 병렬화로 수치·통신 병목을 해소했다. 소스 코드 공개 없이도 실험 반복성이 높은 훈련 설정과 하이퍼파라미터(예: 배치, G=16, lr=2e-6, epsilon_high=5.0)를 명시했다.
Chain-of-Thought 품질을 위한 3축 평가 프레임워크
정답 정확도 외에 이해 가능성(Comprehensibility), 재현성(Reproducibility), 효율성(Efficiency)을 별도 축으로 정의해 CoT 자체의 가치를 정량화했다. 이해 가능성은 LLM judge의 쌍대 비교, 재현성은 약한 모델로의 지식 증류 성능 향상으로 측정했고, 효율성은 모든 모델이 정답을 맞춘 샘플에서 평균 토큰 수로 비교했다. 이 프레임워크는 단순 점수 경쟁을 넘어 추론 경로의 품질을 진단하는 도구로 기능했다.
1조 파라미터 규모에서의 emergent behavior 관찰
1T 모델은 인간 라벨 없이도 구조화된 포맷, 병렬 탐색, 자체 검증, 의인화적 서술, 컨텍스트 불안 등 고차원적 추론 전략을 자발적으로 발현했다. 이러한 행동은 설계된 휴리스틱 없이 생성된 것이며, 스케일이 커질수록 이러한 전략이 학습의 최적 수단으로 선호되었다는 실험적 증거가 제시되었다. 이 결과는 대규모 계산이 인간 설계 규칙을 대신할 수 있음을 뒷받침했다.
계층형 응답 모드로 적응적 추론 깊이 확보
문제 난이도에 따라 Low/Medium/High의 세 가지 최대 토큰 길이와 시스템 프롬프트를 도입해 모델이 간결한 답변과 확장된 CoT 중 상황에 맞는 모드를 선택하게 했다. 이 방식은 추론 예산에 따른 성능-비용 트레이드오프를 사용자가 제어할 수 있게 하며, 실험에서는 Medium과 Low 모드에서도 경쟁력 있는 정확도를 유지했다. 다만 세 모드 병행 학습 시 High 모드의 정점 성능이 일부 저하되는 부작용이 관찰되었다.
핵심 아이디어 이해하기
제로 RL 설정은 사전학습된 베이스 모델에서 사람이 제공한 단계적 정답 없이도 탐색과 보상 신호만으로 추론 행동을 유도할 수 있다는 전제를 따른다. 그러나 토큰 단위 손실로 낮은 확률의 추론 토큰을 증폭하면 출력 길이가 무한히 증가하는 경향이 생기며, 이는 가독성 저하와 계산 낭비를 초래한다. 본 논문은 이 길이 편향과 수치 불안정을 통제하는 것이 대규모 모델에서 자발적 추론을 안정적으로 얻는 핵심이라고 규정한다.
방법론
전체 접근은 네 단계 파이프라인으로 구성된다. 첫 단계에서 클리핑된 중요도 비율을 적용한 토큰 수준의 정책 그라디언트를 사용해 낮은 확률의 추론 토큰에 강한 학습 신호를 주어 CoT를 유도했다. 이때 학습 엔진(Megatron)의 로짓을 분자로 사용해 학습-추론 엔진(SGLang) 사이의 미세한 수치 불일치가 중요도 비율 증폭에 의해 확대되지 않도록 보정했다.
관련 Figure
학습 초기에 시퀀스 길이가 지속적으로 증가하는 현상은 토큰 단위 손실이 길이에 비례해 그라디언트를 키우기 때문임을 시사한다. 이 길이 관성(length inertia)은 이후 자기증류와 샘플 수준 손실로 제어되어야 한다는 논문 주장과 일치한다. 그래프는 토큰 효율성과 안정성의 균형이 필요하다는 근거로 사용되었다.
두 번째 패널은 초기 데이터에서 평균 시퀀스 길이(Sequence Length)가 점진적으로 증가해 훈련 초기에 길이 편향이 발생했음을 보여준다.
새 데이터 도입 이후 길이 증가가 지속된 것은 더 어려운 문제들이 더 긴 CoT를 요구했거나, 모델이 추가 탐색을 수행했음을 의미한다. 이 패턴은 길이 관성이 여전히 작동할 수 있음을 경고하며, 자기증류로 길이를 재제어한 설계의 필요성을 지지한다. 또한 긴 컨텍스트 사용이 실제로 더 복잡한 추론을 가능하게 했음을 보여준다.
네 번째 패널은 새로운 데이터 훈련 구간에서 시퀀스 길이가 크게 증가해 더 긴 추론 경로가 형성되었음을 나타낸다.
주요 결과
주요 벤치마크에서 Ring-2.5-1T-Zero는 단계별 훈련을 통해 유의미한 성능 향상을 보였다. 첫 단계 RL만으로도 AIME 2026에서 84.2%를 기록했으며, 자기증류와 후속 RL 단계를 거치며 성능이 상승해 두 번째 단계에서는 92% 내외의 성능으로 보고되었다. CoT 품질 평가에서는 동일 문제를 모두 맞춘 샘플에서 평균 토큰 수가 6,368로 다른 강력한 모델 대비 절반 이하 토큰을 사용했고, 증류 실험에서는 Qwen-32B에 대해 78.4 vs 72.6, Llama-70B에 대해 74.5 vs 70.0의 이득을 보이며 재현성에서 우위를 확인했다.
관련 Figure
초기 수백 스텝 동안 보상이 급격히 증가해 모델이 기본적인 추론 행동을 빠르게 습득했음을 보여준다. 이 그래프는 첫 단계에서 토큰 수준의 손실과 클리핑된 중요도 비율이 낮은 확률의 추론 토큰을 효과적으로 증폭했음을 시사한다. 안정성 측면에서는 급상승 이후 소폭 변동으로 수렴하는 모습을 보이며 KL 제약과 비율 보정이 기여했음을 뒷받침한다.
첫 번째 패널은 초기 데이터로 진행한 학습 단계에서 보상(reward)이 빠르게 상승해 약 1.5~1.75 수준으로 수렴하는 훈련 궤적을 제시한다.
데이터 스케줄을 변경한 이후에도 보상이 꾸준히 상승하는 것은 초기 발견(discovery) 단계 이후에도 미세한 정책 개선(sharpening)이 지속되었음을 나타낸다. 이 확대는 모델이 더 어려운 데이터에서 새로 발견한 추론 패턴을 점진적으로 숙성시켰음을 보여준다. 따라서 데이터 난이도 커리큘럼이 성능 향상에 기여했음을 시사한다.
세 번째 패널은 새로운 데이터로 전환한 구간에서 보상이 완만히 상승하는 세부 확대 그래프를 제공한다.
막대그래프에서 Ring-2.5-1T-Zero는 기존 모델 대비 높은 승률을 보이며 Tie와 Lose 비율이 상대적으로 낮다. 이 결과는 최종 정답 정확도뿐 아니라 모델의 출력 구조와 형식 준수(포맷 보상)가 평가에 긍정적으로 작용했음을 암시한다. 비교 대상 모델로는 Qwen, Kimi, MiniMax, GLM 등이 포함되어 있어 실전 비교의 폭이 넓다.
다섯 번째 그림은 Ring-2.5-1T-Zero가 여러 강력한 외부 모델과의 쌍대 비교에서 승, 무승부, 패의 비율을 막대그래프로 나타낸다.
그래프에서 Ring-Zero로 생성한 CoT로 증류한 Qwen-32B와 Llama-70B가 각각 78.4와 74.5의 정확도를 보여 DeepSeek 기반 증류 대비 유의한 향상을 기록했다. 이 수치는 제안된 CoT가 재현성 높은 학습 신호를 담고 있음을 정량적으로 지지한다. 또한 적은 데이터(100K)로도 증류 성능을 끌어올렸다는 점이 샘플 효율성을 뒷받침한다.
여섯 번째 그림은 증류 실험 결과로, DeepSeek-R1 기반 증류와 Ring-Zero 기반 증류의 다운스트림 정확도를 비교한 막대그래프를 제시한다.
평균 토큰 수가 절반 이하로 낮다는 점은 모델이 불필요한 탐색을 줄이고 핵심 경로로 수렴했음을 의미한다. 이는 자기증류와 샘플 수준 손실의 조합이 실제 추론 효율성 개선으로 이어졌음을 수치로 입증한다. 또한 토큰 비용 절감은 실제 배포 환경에서 응답 지연과 비용 절감에 직접적인 영향을 준다.
일곱 번째 그림은 여러 모델의 정답인 문제에 대한 평균 토큰 수를 비교한 막대로, 제안 모델이 평균 6,368 토큰으로 다른 모델보다 현격히 적은 토큰을 사용함을 보여준다.
기술 상세
모델 아키텍처와 초기 조건은 Ling-2.5-1T-Base라는 1조 파라미터 MoE 모델(활성화 파라미터 63B)과 104B 플래시 베이스 모델을 사용했다. 훈련은 320×H200 GPU에서 Megatron을 학습 엔진으로, SGLang을 롤아웃 엔진으로 병행 운영했으며 Areal 프레임워크로 오케스트레이션하였다. 하이퍼파라미터로는 초기 배치 512, 미니배치 32, G=16 롤아웃, 학습률 2×10^-6, epsilon_high=5.0, KL 계수 β=1e-4 등이 사용되었다.
한계점
논문에서 명시된 한계는 네 가지 범주로 정리된다. 첫째, 훈련 데이터 분포와 실제 문제 난이도 분포가 불일치해 과도한 쉬운 문제로 학습을 진행하면 계산 자원이 낭비된다는 점이 지적되었다. 둘째, 모델의 표현 한계는 사전학습에서 학습한 지식에 의해 결정되며, 사전학습에 포함되지 않은 수학 개념은 RL만으로 창발적으로 획득하기 어렵다. 셋째, 본 실험은 최대 64k 토큰 창을 사용했으며 더 긴 컨텍스트가 가능했더라면 추가 능력 발현이 기대된다고 명시되었다.
키워드
용어 해설
- Chain-of-Thought
- — 모델이 문제를 푸는 과정에서 단계적 추론을 토큰 형태로 출력하는 방식으로, 각 단계가 다음 단계의 입력으로 작용해 복잡한 논리적 결론을 도출하게 한다. 본문에서는 CoT가 인간 판독 가능성, 재현성, 토큰 효율성이라는 세 가지 품질 축으로 평가되어 최종 답뿐 아니라 추론 경로 자체의 가치가 강조된다.
- Importance Sampling
- — 실행정책과 학습정책 사이의 확률 비를 사용해 오프폴리시 샘플을 재가중하는 기법으로, 본 논문에서는 클리핑된 중요도 비율을 토큰 단위로 적용해 낮은 확률의 추론 토큰에 학습 신호를 증폭시켰다. 수치 불일치를 막기 위해 분자에 학습 엔진의 로짓을 사용해 안정성을 확보했다.
- Self-Distillation
- — 직접 생성한 고품질 롤아웃을 짧고 정제된 정답 추론으로 압축한 뒤 원래 모델을 교사-학생 방식으로 재학습시키는 과정이다. 논문에서는 1단계 RL이 생성한 긴 추론을 가장 짧고 정확한 응답으로 선택·정제한 뒤 supervised fine-tuning으로 수렴 안정성과 간결성을 회복시켰다.
- Mixed-Precision Control
- — 모델 본체는 BF16으로 유지하되, 수치 민감 연산인 attention softmax와 LM head는 FP32로 계산하여 지수 연산에서의 반올림 오류가 중요도 비율에 증폭되는 것을 방지하는 방식이다. 이 조정은 훈련-추론 엔진 간 로짓 불일치와 갑작스런 손실 스파이크를 억제했다.
- Context Parallelism
- — 긴 시퀀스를 여러 장치에 분할해 attention 계산을 병렬로 수행하는 통신 패턴으로, 논문에서는 MLA 계층에 대해 all-to-all 재배열을 사용하고 Lightning Attention에서는 AllGather를 적용해 통신 병목을 줄였다. 이 최적화는 긴 컨텍스트(수만 토큰)에서의 대기 시간을 획기적으로 낮췄다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.