IFM/K2-Horizon-7B
7B dense decoder-only 모델에 512K context와 reasoning·tool-use parser를 결합
학습 방식 · 7B-core dense decoder-only 구조에 IFM/K2-Horizon-Pretrain-Data와 IFM/K2-Horizon-Midtrain-Data를 사용하고, Midtraining 단계부터 524,288토큰 context를 적용한 학습 방식입니다.
TL;DR
IFM/K2-Horizon-7B는 별도 Fine-tuning·양자화·LoRA 파생형이 아닌 7B-core dense decoder-only 모델로, Pretrain과 Midtrain 데이터셋을 거쳐 524,288토큰 native context를 지원합니다. 요청별 `reasoning_effort`를 `high`로 설정하면 reasoning을 `reasoning_content`에 분리하고 답변을 `content`로 반환하며, `k2_horizon` parser를 통해 chat과 tool call을 처리합니다. HMMT Feb 2026 73.3, SWE-bench Verified 70.6, LCR 68.0, BrowseComp 59.0을 기록해 수학·소프트웨어 엔지니어링·장문 추론·웹 탐색 평가에서 README의 비교 모델보다 높은 점수를 냈습니다. 학습 데이터와 recipe, training code, evaluation resources를 공개해 중간 checkpoint별 능력 변화를 재현하고 연구하기에 적합합니다.
핵심 포인트
- 524,288토큰 native context를 Midtraining 단계부터 적용해 긴 입력을 유지하는 장문 추론 작업에 맞췄습니다.
- `reasoning_effort="high"`와 최소 32,768 output tokens를 사용해 reasoning을 별도 필드로 반환하며 평가 조건을 통일합니다.
- SWE-bench Verified 70.6, Terminal-Bench 2.1 39.1, tau3-Banking 25.8로 코드 수정과 terminal·tool 사용 평가를 함께 겨냥합니다.
- Pretrain·Midtrain 데이터, training recipe·code·evaluation resources와 intermediate checkpoint를 공개해 학습 단계별 능력 변화를 추적할 수 있습니다.
제한사항
- README의 모든 benchmark 수치는 `reasoning_effort="high"` 조건과 최소 32,768 output tokens를 전제로 하므로 낮은 reasoning 설정이나 짧은 출력 길이의 성능과 직접 비교하기 어렵습니다.
- BrowseComp 59.0은 DeepSeek-V3.2 technical report의 Discard-all@95k context-length protocol을 사용했으며, 비교 모델은 서로 다른 harness를 사용할 수 있습니다.
- 제공된 vLLM serving recipe는 `--max-model-len 131072`로 설정되어 native 524,288토큰 전체 길이를 그대로 사용하지 않습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| HMMT Feb 2026 | score (%) | 73.3 | Gemma 4-12B 63.1, Qwen3.5-9B 65.7, Granite 4.2-8B 66.5 |
| SWE-bench Verified | score (%) | 70.6 | Gemma 4-12B 30.6, Granite 4.2-8B 47.7, Qwen3.5-9B 50.8 |
| HLE | score (%) | 18.6 | Granite 4.2-8B 9.7, Qwen3.5-9B 14.9, Gemma 4-12B 15.7 |
| SciCode | score (%) | 31.6 | Qwen3.5-9B 27.5, Mistral Small 4 28.0, Granite 4.2-8B 30.4 |
| LCR | score (%) | 68.0 | Granite 4.2-8B 43.3, Gemma 4-12B 61.7, Qwen3.5-9B 65.3 |
| Terminal-Bench 2.1 | score (%) | 39.1 | Granite 4.2-8B 18.4, Gemma 4-12B 27.3, Qwen3.5-9B 29.2 |
| tau3-Banking | score (%) | 25.8 | Qwen3.5-9B 7.0, Granite 4.2-8B 7.6, Muse Glimmer-30B 24.0 |
| BrowseComp | score (%) | 59.0 | DeepSeek V4 Flash-0423 53.5, GPT-5 54.9, LongCat Flash Thinking-2601 56.6 |
이미지 분석
72
LIKES
1.3k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
