세계 최초 1조 파라미터 오픈소스 사고형 모델, IMO 2025 금메달급 추론 성능 달성
텍스트 생성 및 복합 추론 (수학, 코딩, 논리)1T128K 컨텍스트mit
하이브리드 선형 어텐션 구조로 1조 파라미터의 성능과 압도적 추론 효율성을 결합한 차세대 AI 에이전트 모델입니다.
핵심 역량
- 1조 파라미터 규모 (활성 파라미터 63B)
- 128K 기본 컨텍스트 및 YaRN 기반 256K 확장 지원
- IMO 2025 금메달 수준의 수학 추론 (35/42점)
- 하이브리드 선형 어텐션 기반 10배 낮은 메모리 점유
- 장기 자율 과제 수행을 위한 Agentic RL 적용
- SGLang 기반의 효율적인 분산 추론 지원
알아두면 좋은 것
- IMO 2025 35점, CMO 2025 105점 달성으로 오픈소스 모델 중 최상위권 추론 성능 입증
- 32K 토큰 이상 생성 시 기존 아키텍처 대비 3배 이상의 처리량(Throughput) 확보
- GQA를 MLA와 Lightning Linear 구조로 변환하여 KV 캐시 효율성 극대화
- SGLang을 통한 다중 GPU 노드(H20, H200 등) 분산 배포 가이드 제공
220
Likes
6.3k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.