XHToken/Spark-X2.5-1.7B
대화, 글쓰기, 번역, 추론, 코딩, Tool use 및 Agent workflow를 위한 텍스트 생성1.7B1K 컨텍스트apache-2.0
1M 토큰 문맥과 혼합 Attention을 결합한 1.7B post-trained 언어 모델
학습 방식 · XHToken/Spark-X2.5-1.7B-Base에 약 20조 토큰 사전학습, 1M 토큰 장문맥 학습, SFT, 영역별 Reinforcement Learning, MOPD를 적용했습니다.
TL;DR
Spark-X2.5-1.7B는 XHToken/Spark-X2.5-1.7B-Base를 기반으로 SFT와 대규모 Reinforcement Learning, MOPD를 거친 post-trained text-generation 모델입니다. 전체 Attention 한 층과 Sliding Window Attention 세 층을 교차 배치해 KV-cache와 긴 문맥 처리 비용을 줄이면서 최대 1M 토큰 문맥을 처리합니다. 약 20조 토큰 사전학습과 1M 토큰 장문맥 학습을 거쳐 대화·코딩·추론·Agent 작업에 맞췄으며, SGLang·vLLM·MLX·Ollama·LM Studio에서 배포할 수 있습니다. 1.7B 모델 기준 BFCL-V4 46.9, SWE-Bench Verified 28.3, AIME 2026 69.4, IFEval 89.5를 기록했습니다.
핵심 포인트
- 전체 Attention 한 층과 Sliding Window Attention 세 층을 결합해 긴 문맥의 계산량과 KV-cache 부담을 함께 낮춥니다.
- 약 20조 토큰 사전학습 뒤 SFT, 영역별 Reinforcement Learning, MOPD를 거쳐 지시 이행과 추론 능력을 조정합니다.
- 1.7B 모델이 AIME 2026 69.4, IFEval 89.5, GPQA 43.8을 기록해 소형 모델 배포 후보로 활용할 수 있습니다.
- SGLang과 vLLM의 OpenAI 호환 서버부터 MLX, Ollama, LM Studio까지 여러 실행 경로를 제공합니다.
제한사항
- 1M 토큰 문맥 설정은 충분한 장치 메모리가 필요하며, 메모리가 부족하면 `--context-length` 값을 낮춰야 합니다.
- README의 벤치마크 수치는 모두 thinking mode에서 측정됐고 temperature=1.0, top_p=0.95, top_k=-1 조건을 권장하므로 다른 설정과 직접 비교하기 어렵습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| BFCL-V4 | score | 46.9 | README 공개 모델 카드 비교 수치이며 Spark-X2.5-4B 65.1, Qwen3.5-2B 43.6과 함께 제시된 값입니다. |
| τ³-bench | score | 20.1 | README 공개 모델 카드 비교 수치이며 Spark-X2.5-4B 30.4, Qwen3.5-2B 4.1입니다. |
| SWE-Bench Verified | score | 28.3 | README 공개 모델 카드 비교 수치이며 Spark-X2.5-4B 41.6, Qwen3.5-2B 6.8입니다. |
| AIME 2026 | score | 69.4 | README 공개 모델 카드 비교 수치이며 Spark-X2.5-4B 90.7, Qwen3.5-2B 30.8입니다. |
| IFEval | score | 89.5 | README 공개 모델 카드 비교 수치이며 Spark-X2.5-4B 93.0, Qwen3.5-2B 78.6입니다. |
| GPQA | score | 43.8 | README 공개 모델 카드 비교 수치이며 Spark-X2.5-4B 67.4, Qwen3.5-2B 44.6입니다. |
이미지 분석
83
LIKES
2k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
