TL;DR

VibeThinker-3B는 Qwen2.5-Coder-3B를 기반으로 한 3B 파라미터 규모의 모델로 Spectrum-to-Signal 원리에 따라 커리큘럼 SFT, MGPO 기반 RL, 오프라인 자기증류, Instruct RL을 순차적으로 적용해 검증 가능한 수학·코드 추론 성능을 끌어올린 모델이다. IMO-AnswerBench에서 기본 76.4점을 기록했고 Claim-Level Reliability Assessment 적용 시 80.6점으로 상승했으며 LeetCode 실전 평가에서 123/128 첫시도 통과(96.1%)를 보고해 경쟁형 코딩 문제에서도 높은 실용성을 보였다. 학습 파이프라인과 테스트타임 신뢰도 보정이 작은 모델의 성능을 대형 모델 수준의 범위로 확장시키는 핵심 메커니즘으로 작동했으며 다만 툴 호출이나 에이전트 오케스트레이션 용도로의 사용은 README에서 권장되지 않는다.

핵심 역량

• 수학적 추론 문제에서 단계적 풀이를 생성하고 중간 검산을 통해 답안을 검증하는 능력을 보유한다. 모델은 복잡한 수식 유도와 제약 만족 문제에서 여러 해법 경로를 제시하고 검증 가능한 최종 답을 출력하는 데 적합하다. 검증 가능한 태스크에서 CLR 같은 신뢰도 평가 기법과 결합하면 정답률이 추가로 향상되는 특성을 보인다.
• 알고리즘 문제 구현과 경쟁 프로그래밍 스타일의 코드를 생성하는 데에 최적화되어 있다. LeetCode 형식의 문제에서 처음 제출에 대한 높은 수락률을 기록한 만큼 함수 구현, 입출력 처리, 시간복잡도 고려가 반영된 코드를 생성할 수 있다. 단, 툴 호출이나 에이전트 기반 API 오케스트레이션 작업에는 적합하지 않다.
• 지시문을 따르는 인스트럭션-팔로잉 능력이 우수하여 포맷 민감한 응답과 단계적 안내를 안정적으로 생성한다. 학습 파이프라인의 Instruct RL 단계와 규칙 기반 밸리데이터가 포맷 일관성을 높이는 역할을 수행했다. 이로 인해 고정된 출력 형식이 필요한 평가 환경에서 재현 가능한 결과를 내는 편이다.

강점

• 작은 파라미터 규모(3B)에도 불구하고 검증 가능한 수학·코드 추론 벤치에서 상위권 성능을 보였다. README와 제공된 표에서 IMO-AnswerBench 76.4점, AIME/HMMT 등에서 고득점을 기록해 대형 모델의 성능 범위에 근접하는 결과가 보고되었다. 이러한 성과는 파라미터 규모보다 학습 신호의 구조화와 검증 가능한 보상 설계가 성능에 강한 영향을 미칠 수 있음을 시사한다.
• 실전 경쟁 프로그래밍 환경에서 높은 첫시도 수락률을 기록해 실용적 성능을 입증했다. LeetCode 주간/격주 대회에서 123/128 처음 제출 통과로 96.1% 수치를 기록했으며 이는 생성된 코드의 정확성·컴파일 가능성·기본 시간복잡도 고려가 실제 문제에 잘 적용되었음을 의미한다. 다만 README가 툴 호출 또는 에이전트 용도로의 사용을 비권장한다는 점이 실무 적용 범위를 명확히 제한한다.

훈련 방식

모델은 Qwen/Qwen2.5-Coder-3B를 기반으로 한 후속 튜닝 모델이며 Spectrum-to-Signal Principle(SSP)을 중심으로 설계된 파이프라인을 사용했다. 파이프라인은 커리큘럼 기반의 두 단계 SFT로 넓은 해법 스펙트럼을 구축한 뒤 MaxEnt-Guided Policy Optimization을 포함한 RL로 올바른 해법 신호를 증폭하고, 이후 고품질 궤적을 오프라인 자기증류로 학생 모델에 재주입하는 방식으로 구성되었다. 마지막으로 규칙 기반 밸리데이터와 루브릭 보상 모델을 활용한 Instruct RL을 통해 사용자 지시 준수성과 출력 포맷 일관성을 개선했다.

알아두면 좋은 것

• 모델은 Qwen/Qwen2.5-Coder-3B를 기반으로 한 파인튜닝 모델이며 라이선스는 MIT로 공개 배포되어 있다. README에 따르면 SSP 기반의 후처리 파이프라인과 여러 단계의 SFT·RL·자기증류를 결합해 검증 가능한 추론 성능을 극대화했다. 사용자는 모델이 툴 호출 데이터로 학습되지 않았음을 주의해야 한다.
• 핵심 벤치는 IMO-AnswerBench 76.4점을 기록했고 Claim-Level Reliability Assessment 적용 시 80.6점으로 상승했다고 표기되어 있다. README에는 DeepSeek V3.2(78.3, 671B), GLM-5(82.5, 744B), Kimi K2.5(81.8, 1T) 등 거대 모델과 비교한 맥락이 함께 제공되었다. 이 비교는 작은 모델이 검증 가능한 태스크에서 대형 모델 범위에 근접할 수 있음을 보여주는 근거로 제시되어 있다.
• 리저널 옵션으로 vLLM 사용을 권장하며 권장 생성 하이퍼파라미터로 temperature=1.0, top_p=0.95, top_k=-1을 명시했다. 빠른 추론 성능을 위해 vLLM 0.10.1 또는 SGLang>=0.4.9.post6를 권장했고 transformers>=4.54.0을 최소 요구조건으로 제시했다. README에 LeetCode 현장 평가 결과인 123/128 첫시도 통과(96.1%) 수치가 포함되어 있다.
• 사용상 주의로서 툴 호출, 함수 호출, 에이전트 오케스트레이션을 위한 데이터로 학습되지 않았으므로 해당 용도에서의 사용을 권장하지 않는 경고를 명확히 표기했다. 고난도 수학 추론 평가를 위해 AMOBench 같은 더 어려운 문제집을 활용할 것을 권장했으며 그 경우 max_tokens를 60K~100K로 설정하라고 명시했다. 학습·평가 관련 기술 보고서 링크와 GitHub·ModelScope 연결이 제공되어 있다.

기술적 특징

• Spectrum-to-Signal Principle(SSP)를 중심으로 SFT와 RL 단계를 분리해 먼저 다양한 유효 해법 경로를 포괄하고 이후 검증 신호로 올바른 경로를 증폭시켰다. 이 과정에서 첫 단계는 난이도별 커리큘럼으로 범용성 있는 해법 스펙트럼을 구성하고 두 번째 단계는 더 긴 수렴 경로와 복잡한 추론을 다루는 데이터로 전환했다. 결과적으로 여러 유효한 풀이를 유지하면서도 최종 모델이 검증 가능한 답안을 일관되게 생성하도록 설계되었다.
• 강화학습 단계에서는 MaxEnt-Guided Policy Optimization(MGPO)을 재사용해 정책의 다양성과 정답 신호 간 균형을 맞췄다. 엔트로피 유도 항이 포함되어 탐색이 과도하게 좁아지는 것을 억제하고 다양한 합법적 해법을 보전했다. 이로 인해 복수 경로가 존재하는 수학·코드 문제에서 모델이 하나의 경로만 고착화되지 않고 여러 가능한 정답 근거를 유지하면서도 성능을 확보하게 했다.
• 오프라인 자기증류는 RL에서 얻은 고품질 궤적을 학생 모델에 재주입하는 방식으로 구현되었고 학습잠재력 점수를 사용해 교사 궤적을 우선순위화했다. 이 방식은 올바르지만 학생이 아직 잘 모사하지 못하는 사례를 집중적으로 학습시키는 역할을 했다. 증류 과정은 최종 모델이 복잡한 추론 패턴을 더 안정적으로 복제하도록 돕는 구조적 보정 수단으로 작동했다.
• 테스트타임 스케일링 기법인 Claim-Level Reliability Assessment(CLR)를 도입해 검증 가능한 주장별 신뢰도를 평가하고 이를 바탕으로 출력 선택을 조정했다. CLR 적용 시 IMO-AnswerBench 점수가 README 기준으로 76.4에서 80.6으로 상승한 것이 보고되었으며 이는 시험 시 신뢰도 기반 후처리가 실효적 성능을 끌어올린 사례로 작동했다. CLR은 특히 정답 검증 신호가 명확한 문제군에서 작은 모델의 이득을 증대시키는 역할을 한다.
• 학습과 추론 모두에서 단일 64K 롱 컨텍스트 윈도우를 활용해 장기 추론 궤적을 보존하도록 설계되었다. 긴 문맥을 유지함으로써 여러 단계에 걸친 수학적 유도나 코드 로직의 전체 흐름을 손실 없이 처리할 수 있었다. 이 설계는 긴 과정으로 구성된 추론 문제에서 중간 상태를 활용한 자기검증 전략과 상호작용할 때 유리하게 작용했다.

차별점

• 모델은 파라미터 규모가 작음에도 검증 가능한 추론 벤치에서 대형 모델과 유사한 성능 범위에 도달한 점이 차별화 요소이다. README에서 제시된 표와 그래프는 SSP 기반 파이프라인과 CLR 같은 테스트타임 보정이 작은 모델의 성능을 크게 끌어올렸음을 보였다. 이 접근은 단순한 파라미터 확장 대신 신호의 구조적 증폭을 통해 성능을 확보하는 전략이라는 점에서 특징적이다.
• 학습 파이프라인이 커리큘럼 SFT, MGPO 기반 RL, 오프라인 자기증류, Instruct RL을 연속적으로 결합한 점이 설계적 차별점이다. 각 단계는 역할이 분명하게 구분되어 있으며 특히 RL에서 얻은 고품질 궤적을 증류로 다시 주입하는 루프가 성능 안정성에 기여했다. 이러한 다단계 파이프라인 구성은 검증 가능한 추론 과제에서 작은 모델이 높은 신뢰도의 출력을 내도록 설계된 점에서 독특하다.
• Claim-Level Reliability Assessment(CLR)를 테스트타임 스케일링으로 채택해 각 주장 단위의 신뢰도를 평가하고 결과 선택에 반영한 점이 실용적 차별점이다. CLR 적용 시 특정 벤치에서 점수 향상이 보고되어 실제 배포 환경에서 신뢰도 기반 후처리를 통한 성능 개선 가능성을 보여주었다. 이 방법은 특히 정답 검증 신호가 존재하는 과제에서 효율적인 성능 보강 수단으로 작동한다.

벤치마크

이미지 분석