TL;DR

이 저장소는 DeepSeek AI의 DeepSeek-V4-Flash MoE 언어모델을 antirez의 ds4 추론 엔진에 맞춰 GGUF로 양자화한 배포판으로, 라우팅 전문가(gate/up/down)만 IQ2_XXS·Q2_K 또는 Q4_K로 압축하고 어텐션·공유 전문가·출력층은 Q8_0로 유지해 정확도 손실을 최소화하는 비대칭 양자화 전략을 쓴다. q2 파일은 80.8GiB로 128GB RAM Mac에서, q4 파일은 153.3GiB로 256GB 이상 RAM 머신에서 구동하도록 설계됐고, 추측 디코딩용 MTP 보조 파일(3.6GiB)도 함께 제공한다. ds4를 클론해 다운로드 스크립트로 원하는 정밀도를 받은 뒤 바로 로컬 추론이나 서버 실행이 가능해, 대형 MoE 모델을 워크스테이션급 메모리에서 돌리려는 용도에 적합하다.

핵심 포인트

• 라우팅 전문가만 2~4bit로 압축하고 어텐션·공유 전문가·출력층은 Q8_0로 유지해 품질 손실을 줄였다.
• 128GB RAM Mac용 q2(80.8GiB)와 256GB 이상용 q4(153.3GiB) 두 정밀도를 함께 제공한다.
• 추측 디코딩용 MTP 보조 GGUF(3.6GiB)를 별도로 제공해 지원 시 응답 속도를 높일 수 있다.
• 범용 로더가 아니라 antirez의 ds4 추론 엔진 전용으로 만들어진 점이 다른 GGUF 양자화판과 다르다.

제한사항