OpenAI o1과 대등한 성능, RL만으로 탄생한 혁신적 오픈소스 추론 모델
텍스트 생성 및 복잡한 논리 추론 (수학, 코딩, 과학적 사고)671B (37B Active)128K 컨텍스트mit
대규모 강화학습을 통해 복잡한 수학, 코딩, 논리 문제를 스스로 사고하며 해결하는 고성능 추론 모델입니다.
핵심 역량
- 671B MoE 아키텍처 (활성 파라미터 37B)
- 128K 토큰 컨텍스트 및 최대 32,768 토큰 생성 지원
- 자기 검증 및 반추를 포함한 긴 사고 체계(CoT) 생성
- 수학(AIME 2024) 79.8% 및 코딩(LiveCodeBench) 65.9% 달성
- MIT 라이선스로 상업적 이용 및 지식 증류(Distillation) 허용
알아두면 좋은 것
- AIME 2024 79.8%, MATH-500 97.3%로 OpenAI o1-1217급 성능 입증
- 한국어 포함 다국어 지원 및 CLUEWSC 92.8% 기록
- FP8 정밀도 지원으로 효율적인 대규모 추론 가능
- 시스템 프롬프트 지양 및 응답 시작 시 <think> 태그 강제 사용 권장
13.1k
Likes
1.1M
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.