Ring-Zero: 1조 파라미터로 제로 RL을 확장하여 자발적 추론 능력 획득

왜 중요한가

인간 라벨이 없는 강화학습(제로 RL)으로도 대규모 사전학습 모델에서 고품질의 단계적 추론을 유도할 수 있다는 점은 인건비가 큰 CoT 데이터 의존을 크게 낮출 수 있음을 의미한다. 1조 파라미터 수준으로의 확장은 샘플 효율과 성능 상한을 동시에 끌어올려, 기존의 수작업 휴리스틱 없이도 복잡한 추론 전략이 자발적으로 형성되었다는 사실을 확인했다. 이는 장기적으로 추론 품질과 토큰 비용을 함께 고려하는 자동화된 학습 설계로 이어질 수 있다.

핵심 기여

안정적이고 간결한 대규모 제로 RL 파이프라인 설계

클리핑 중요도 샘플링을 기반으로 학습-추론 엔진 간 비율 보정과 KL 페널티를 결합하고, 자기증류와 샘플 수준 손실로 길이 편향을 제어해 1조 파라미터 모델에서 안정적 학습을 달성했다. 인프라 측면에서는 attention softmax와 LM head를 FP32로 처리하는 혼합정밀도 제어와 MLA/Lightning Attention에 맞춘 컨텍스트 병렬화로 수치·통신 병목을 해소했다. 소스 코드 공개 없이도 실험 반복성이 높은 훈련 설정과 하이퍼파라미터(예: 배치, G=16, lr=2e-6, epsilon_high=5.0)를 명시했다.

Chain-of-Thought 품질을 위한 3축 평가 프레임워크

정답 정확도 외에 이해 가능성(Comprehensibility), 재현성(Reproducibility), 효율성(Efficiency)을 별도 축으로 정의해 CoT 자체의 가치를 정량화했다. 이해 가능성은 LLM judge의 쌍대 비교, 재현성은 약한 모델로의 지식 증류 성능 향상으로 측정했고, 효율성은 모든 모델이 정답을 맞춘 샘플에서 평균 토큰 수로 비교했다. 이 프레임워크는 단순 점수 경쟁을 넘어 추론 경로의 품질을 진단하는 도구로 기능했다.

1조 파라미터 규모에서의 emergent behavior 관찰

1T 모델은 인간 라벨 없이도 구조화된 포맷, 병렬 탐색, 자체 검증, 의인화적 서술, 컨텍스트 불안 등 고차원적 추론 전략을 자발적으로 발현했다. 이러한 행동은 설계된 휴리스틱 없이 생성된 것이며, 스케일이 커질수록 이러한 전략이 학습의 최적 수단으로 선호되었다는 실험적 증거가 제시되었다. 이 결과는 대규모 계산이 인간 설계 규칙을 대신할 수 있음을 뒷받침했다.

계층형 응답 모드로 적응적 추론 깊이 확보

문제 난이도에 따라 Low/Medium/High의 세 가지 최대 토큰 길이와 시스템 프롬프트를 도입해 모델이 간결한 답변과 확장된 CoT 중 상황에 맞는 모드를 선택하게 했다. 이 방식은 추론 예산에 따른 성능-비용 트레이드오프를 사용자가 제어할 수 있게 하며, 실험에서는 Medium과 Low 모드에서도 경쟁력 있는 정확도를 유지했다. 다만 세 모드 병행 학습 시 High 모드의 정점 성능이 일부 저하되는 부작용이 관찰되었다.

핵심 아이디어 이해하기

제로 RL 설정은 사전학습된 베이스 모델에서 사람이 제공한 단계적 정답 없이도 탐색과 보상 신호만으로 추론 행동을 유도할 수 있다는 전제를 따른다. 그러나 토큰 단위 손실로 낮은 확률의 추론 토큰을 증폭하면 출력 길이가 무한히 증가하는 경향이 생기며, 이는 가독성 저하와 계산 낭비를 초래한다. 본 논문은 이 길이 편향과 수치 불안정을 통제하는 것이 대규모 모델에서 자발적 추론을 안정적으로 얻는 핵심이라고 규정한다.

방법론

전체 접근은 네 단계 파이프라인으로 구성된다. 첫 단계에서 클리핑된 중요도 비율을 적용한 토큰 수준의 정책 그라디언트를 사용해 낮은 확률의 추론 토큰에 강한 학습 신호를 주어 CoT를 유도했다. 이때 학습 엔진(Megatron)의 로짓을 분자로 사용해 학습-추론 엔진(SGLang) 사이의 미세한 수치 불일치가 중요도 비율 증폭에 의해 확대되지 않도록 보정했다.

주요 결과

주요 벤치마크에서 Ring-2.5-1T-Zero는 단계별 훈련을 통해 유의미한 성능 향상을 보였다. 첫 단계 RL만으로도 AIME 2026에서 84.2%를 기록했으며, 자기증류와 후속 RL 단계를 거치며 성능이 상승해 두 번째 단계에서는 92% 내외의 성능으로 보고되었다. CoT 품질 평가에서는 동일 문제를 모두 맞춘 샘플에서 평균 토큰 수가 6,368로 다른 강력한 모델 대비 절반 이하 토큰을 사용했고, 증류 실험에서는 Qwen-32B에 대해 78.4 vs 72.6, Llama-70B에 대해 74.5 vs 70.0의 이득을 보이며 재현성에서 우위를 확인했다.

기술 상세

모델 아키텍처와 초기 조건은 Ling-2.5-1T-Base라는 1조 파라미터 MoE 모델(활성화 파라미터 63B)과 104B 플래시 베이스 모델을 사용했다. 훈련은 320×H200 GPU에서 Megatron을 학습 엔진으로, SGLang을 롤아웃 엔진으로 병행 운영했으며 Areal 프레임워크로 오케스트레이션하였다. 하이퍼파라미터로는 초기 배치 512, 미니배치 32, G=16 롤아웃, 학습률 2×10^-6, epsilon_high=5.0, KL 계수 β=1e-4 등이 사용되었다.

한계점

논문에서 명시된 한계는 네 가지 범주로 정리된다. 첫째, 훈련 데이터 분포와 실제 문제 난이도 분포가 불일치해 과도한 쉬운 문제로 학습을 진행하면 계산 자원이 낭비된다는 점이 지적되었다. 둘째, 모델의 표현 한계는 사전학습에서 학습한 지식에 의해 결정되며, 사전학습에 포함되지 않은 수학 개념은 RL만으로 창발적으로 획득하기 어렵다. 셋째, 본 실험은 최대 64k 토큰 창을 사용했으며 더 긴 컨텍스트가 가능했더라면 추가 능력 발현이 기대된다고 명시되었다.

키워드

zero RL(라벨 없는 강화학습)Chain-of-Thought(단계적 추론)self-distillation(자체 증류)importance sampling(중요도 샘플링)mixed-precision(혼합 정밀도)

용어 해설

사고 과정 추론(Chain-of-Thought): — 모델이 문제를 푸는 과정에서 단계적 추론을 토큰 형태로 출력하는 방식으로, 각 단계가 다음 단계의 입력으로 작용해 복잡한 논리적 결론을 도출하게 한다. 본문에서는 CoT가 인간 판독 가능성, 재현성, 토큰 효율성이라는 세 가지 품질 축으로 평가되어 최종 답뿐 아니라 추론 경로 자체의 가치가 강조된다.
중요도 샘플링(Importance Sampling): — 실행정책과 학습정책 사이의 확률 비를 사용해 오프폴리시 샘플을 재가중하는 기법으로, 본 논문에서는 클리핑된 중요도 비율을 토큰 단위로 적용해 낮은 확률의 추론 토큰에 학습 신호를 증폭시켰다. 수치 불일치를 막기 위해 분자에 학습 엔진의 로짓을 사용해 안정성을 확보했다.
자체 증류(Self-Distillation): — 직접 생성한 고품질 롤아웃을 짧고 정제된 정답 추론으로 압축한 뒤 원래 모델을 교사-학생 방식으로 재학습시키는 과정이다. 논문에서는 1단계 RL이 생성한 긴 추론을 가장 짧고 정확한 응답으로 선택·정제한 뒤 supervised fine-tuning으로 수렴 안정성과 간결성을 회복시켰다.
혼합 정밀도 제어(Mixed-Precision Control): — 모델 본체는 BF16으로 유지하되, 수치 민감 연산인 attention softmax와 LM head는 FP32로 계산하여 지수 연산에서의 반올림 오류가 중요도 비율에 증폭되는 것을 방지하는 방식이다. 이 조정은 훈련-추론 엔진 간 로짓 불일치와 갑작스런 손실 스파이크를 억제했다.
컨텍스트 병렬화(Context Parallelism): — 긴 시퀀스를 여러 장치에 분할해 attention 계산을 병렬로 수행하는 통신 패턴으로, 논문에서는 MLA 계층에 대해 all-to-all 재배열을 사용하고 Lightning Attention에서는 AllGather를 적용해 통신 병목을 줄였다. 이 최적화는 긴 컨텍스트(수만 토큰)에서의 대기 시간을 획기적으로 낮췄다.

Ring-Zero: 1조 파라미터로 제로 RL을 확장하여 자발적 추론 능력 획득

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 추론을 위한 RL 재고: 능력 학습이 아닌 희소 정책 선택

J-Zero: 데이터 없이 Challenger·Solver·Judge를 함께 진화시키는 자기 개선

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 기사

LLM 추론을 위한 RL 재고: 능력 학습이 아닌 희소 정책 선택

J-Zero: 데이터 없이 Challenger·Solver·Judge를 함께 진화시키는 자기 개선