196B의 지능을 11B의 속도로! 초당 300토큰을 쏟아내는 추론 특화 MoE 모델
텍스트 생성 및 복합 추론 (에이전트, 코딩 특화)196B (Active 11B)256K 컨텍스트apache-2.0
MoE 아키텍처와 MTP 기술로 압도적인 추론 속도와 에이전트 성능을 제공하는 196B 기반 베이스 모델
핵심 역량
- 초당 100~300개 토큰의 초고속 생성 속도
- 256K 토큰의 대규모 컨텍스트 윈도우 지원
- Sparse MoE 아키텍처 (196B 전체, 11B 활성화)
- MTP-3 기술을 통한 병렬 토큰 예측
- SWE-bench Verified 74.4%의 강력한 코딩 능력
알아두면 좋은 것
- SWE-bench Verified 74.4%, Terminal-Bench 2.0 51.0% 달성
- 3:1 슬라이딩 윈도우 어텐션(SWA)으로 256K 컨텍스트 효율적 처리
- MTP-3 헤드를 통해 한 번의 패스로 4개 토큰 동시 예측
- Apache 2.0 라이선스로 상업적 이용 및 로컬 배포 가능
76
Likes
513
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.