XHToken/Spark-X2.5-4B-GGUF
대화, 텍스트 생성, 작성, 번역, 추론, 코딩, tool use 및 agentic workflow4B최대 1M 토큰 컨텍스트Apache-2.0
Spark-X2.5-4B를 BF16 GGUF로 변환해 Ollama와 LM Studio에서 실행하는 4B 로컬 언어 모델
학습 방식 · Spark-X2.5-4B를 BF16 GGUF 형식으로 변환한 배포본이며, README에는 별도 Fine-tuning 또는 distillation 방식이 기재되지 않았습니다.
TL;DR
Spark-X2.5-4B를 BF16 GGUF 형식으로 변환한 로컬 추론용 배포본으로, 원본 모델의 hybrid attention 구조와 최대 1M 토큰 context length를 유지한다. XHToken/llama.cpp 호환 구현을 통해 GGUF 파일을 Ollama와 LM Studio에서 불러오며, Ollama에서는 --think=false 옵션으로 직접 응답 모드를 선택할 수 있다. 대화·작성·번역·추론·코딩·tool use·agentic workflow를 겨냥하고 200개가 넘는 언어를 지원하므로, 대규모 모델 서버보다 로컬 환경에서 범용 텍스트 생성에 적합한 구성이 핵심이다.
핵심 포인트
- BF16 GGUF 변환본이라 원본 Spark-X2.5-4B를 llama.cpp 계열 로컬 런타임에서 구동합니다.
- hybrid attention 구조와 최대 1M 토큰 native context length를 바탕으로 긴 입력을 처리합니다.
- Ollama와 LM Studio를 지원하며 XHToken/llama.cpp 호환 구현이 필요합니다.
- 영어와 중국어를 포함해 200개가 넘는 언어와 범용 텍스트 작업을 겨냥합니다.
제한사항
- Spark-X2.5 지원을 위해 XHToken/llama.cpp 호환 구현을 사용해야 합니다.
- README에 하드웨어 요구사항과 정량적 성능 벤치마크가 기재되지 않았습니다.
80
LIKES
36.3k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.