본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

XHToken/Spark-X2.5-4B-GGUF

대화, 텍스트 생성, 작성, 번역, 추론, 코딩, tool use 및 agentic workflow4B최대 1M 토큰 컨텍스트Apache-2.0

Spark-X2.5-4B를 BF16 GGUF로 변환해 Ollama와 LM Studio에서 실행하는 4B 로컬 언어 모델

학습 방식 · Spark-X2.5-4B를 BF16 GGUF 형식으로 변환한 배포본이며, README에는 별도 Fine-tuning 또는 distillation 방식이 기재되지 않았습니다.

TL;DR

Spark-X2.5-4B를 BF16 GGUF 형식으로 변환한 로컬 추론용 배포본으로, 원본 모델의 hybrid attention 구조와 최대 1M 토큰 context length를 유지한다. XHToken/llama.cpp 호환 구현을 통해 GGUF 파일을 Ollama와 LM Studio에서 불러오며, Ollama에서는 --think=false 옵션으로 직접 응답 모드를 선택할 수 있다. 대화·작성·번역·추론·코딩·tool use·agentic workflow를 겨냥하고 200개가 넘는 언어를 지원하므로, 대규모 모델 서버보다 로컬 환경에서 범용 텍스트 생성에 적합한 구성이 핵심이다.

핵심 포인트

  • BF16 GGUF 변환본이라 원본 Spark-X2.5-4B를 llama.cpp 계열 로컬 런타임에서 구동합니다.
  • hybrid attention 구조와 최대 1M 토큰 native context length를 바탕으로 긴 입력을 처리합니다.
  • Ollama와 LM Studio를 지원하며 XHToken/llama.cpp 호환 구현이 필요합니다.
  • 영어와 중국어를 포함해 200개가 넘는 언어와 범용 텍스트 작업을 겨냥합니다.

제한사항

  • Spark-X2.5 지원을 위해 XHToken/llama.cpp 호환 구현을 사용해야 합니다.
  • README에 하드웨어 요구사항과 정량적 성능 벤치마크가 기재되지 않았습니다.

80

LIKES

36.3k

DOWNLOADS

0 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.