IFM/K2-Horizon-MoVA-36B-A4B
대화형 텍스트 생성, reasoning, tool call, 에이전트 작업 및 코딩36B, 4B active524K 컨텍스트apache-2.0
36B MoE와 MoVA attention으로 토큰당 4B 파라미터만 활성화하는 text-generation 모델
학습 방식 · IFM/K2-Horizon-Pretrain-Data와 IFM/K2-Horizon-Midtrain-Data를 사용해 K2-Horizon 계열의 최종 checkpoint를 학습했으며, 중간 checkpoint와 training data·recipe·code는 공개 예정입니다.
TL;DR
IFM/K2-Horizon-MoVA-36B-A4B는 36B 파라미터를 저장하지만 토큰마다 4B만 활성화하는 sparse Mixture-of-Experts 모델이며, Mixture-of-Values attention인 MoVA를 결합합니다. midtraining 단계부터 524,288토큰의 Native context를 지원하고, reasoning과 tool call을 별도 parser로 처리합니다. vLLM과 SGLang에서 expert parallel 및 BF16 설정으로 구동할 수 있어 에이전트 작업, 터미널 코딩, 장문 reasoning에 맞습니다.
핵심 포인트
- 36B 파라미터를 저장하면서 토큰마다 4B만 활성화하는 sparse MoE 구조입니다.
- MoVA attention을 적용해 Mixture-of-Values 방식으로 attention을 구성합니다.
- Native 524,288토큰 context와 reasoning·tool-call parser를 지원합니다.
- tau3-Banking 26.8, Terminal-Bench 2.1 58.6으로 에이전트 평가에서 높은 점수를 기록했습니다.
제한사항
- README의 모든 벤치마크 수치는 reasoning_effort="high" 설정을 사용하므로 낮은 reasoning 설정과의 성능은 별도 확인이 필요합니다.
- 에이전트와 reasoning 기능을 사용하려면 k2_horizon reasoning parser 및 tool-call parser 설정이 필요하며, 일반 completion에서는 두 parser를 끄도록 안내합니다.
- 현재 공개된 것은 final checkpoint이며, intermediate checkpoint와 training data·recipe·code는 향후 공개 예정입니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| tau3-Banking | score (%) | 26.8 | — |
| Terminal-Bench 2.1 | score (%) | 58.6 | — |
| SciCode | score (%) | 38.9 | — |
| Humanity's Last Exam (without tools) | score (%) | 25.2 | — |
| GPQA Diamond | score (%) | 80.8 | — |
| CritPt | score (%) | 2.1 | — |
| AA-LCR | score (%) | 66.3 | — |
| AA-Omniscience Accuracy | score (%) | 18.8 | — |
| AA-Omniscience Non-Hallucination | score (%) | 69.2 | — |
이미지 분석
74
LIKES
0
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
