TL;DR

DeepSeek-V4-Flash GGUF는 DeepSeek-V4 아키텍처를 기반으로 FP4·FP8 혼합 정밀도와 MoE 설계를 결합해 최대 1백만 토큰 문맥을 처리하도록 최적화된 양자화 배포판이다. 하이브리드 어텐션(CSA+HCA)과 mHC 연결을 통해 긴 문맥에서 연산과 KV cache 요구를 줄였고, MoE 전문가를 FP4로 양자화해 실제 활성화 파라미터를 낮춰 추론 효율을 확보했다. 포스트트레이닝은 도메인별 SFT와 GRPO 기반 RL로 전문가를 육성한 뒤 온-정책 증류로 통합하는 파이프라인을 사용해 다영역 성능을 유지하며, README 표는 여러 지표에서 경쟁력 있는 장단점을 제시하고 있다. 실행은 Unsloth Studio나 최신 llama.cpp를 통해 권장되며 Think Max 모드에서는 최소 384K 토큰 이상의 컨텍스트 윈도우를 권장한다.

핵심 포인트

• 하이브리드 어텐션(CSA + HCA) 조합으로 1M 토큰 환경에서 V3.2 대비 추론 FLOPs와 KV cache를 크게 절감한 점이 차별화 요소이다.
• MoE 구조에서 활성화된 파라미터(13B)를 별도로 운용하고 전문가 파라미터를 FP4로 양자화해 대규모 파라미터의 실사용 비용을 낮춘 설계가 차별화된다.
• 포스트트레이닝 단계에서 SFT·GRPO 기반의 도메인별 전문가 육성과 온-정책 증류를 조합해 다양한 도메인 역량을 하나의 모델로 통합한 점이 다른 공개 모델과의 차별점으로 작용한다.
• 추론 모드를 Non-think, Think High, Think Max로 분리해 연산 예산과 추론 성능 사이의 명시적 트레이드오프를 제공하는 점이 운영 유연성을 높였다.

벤치마크

이미지 분석