TL;DR

DeepSeek-V4-Flash GGUF는 DeepSeek-V4 아키텍처를 기반으로 FP4·FP8 혼합 정밀도와 MoE 설계를 결합해 최대 1백만 토큰 문맥을 처리하도록 최적화된 양자화 배포판이다. 하이브리드 어텐션(CSA+HCA)과 mHC 연결을 통해 긴 문맥에서 연산과 KV cache 요구를 줄였고, MoE 전문가를 FP4로 양자화해 실제 활성화 파라미터를 낮춰 추론 효율을 확보했다. 포스트트레이닝은 도메인별 SFT와 GRPO 기반 RL로 전문가를 육성한 뒤 온-정책 증류로 통합하는 파이프라인을 사용해 다영역 성능을 유지하며, README 표는 여러 지표에서 경쟁력 있는 장단점을 제시하고 있다. 실행은 Unsloth Studio나 최신 llama.cpp를 통해 권장되며 Think Max 모드에서는 최소 384K 토큰 이상의 컨텍스트 윈도우를 권장한다.

핵심 역량

• DeepSeek-V4-Flash는 최대 1백만 토큰의 컨텍스트를 입력으로 받아 장문 기반 질의응답과 문서 내 근거 추적을 수행할 수 있다. 모델의 장문 최적화는 희소·압축 어텐션과 KV cache 최적화를 결합해 긴 문맥에서도 일관된 상태를 유지하도록 설계되었다. 이로 인해 대규모 문서 세트에서 검색·합성·요약을 수행할 때 문맥 누락을 줄인다.
• DeepSeek-V4-Flash는 추론 예산에 따른 다양한 reasoning 모드를 제공해 빠른 응답이 필요한 상황과 깊은 분석이 필요한 상황을 모두 지원한다. Non-think 모드는 직관적이고 신속한 요약을 제공하며 Think High와 Think Max 모드는 내부적으로 더 많은 연산을 할당해 복잡한 문제 해결과 계획 생성에서 높은 정확도를 제공한다. 이러한 모드 전환은 시스템 프롬프트와 샘플링 전략으로 제어된다.
• 코드 생성 및 수학적 문제 해결 능력이 강화되어 HumanEval와 여러 코딩 벤치마크에서 유의미한 성능을 보였다. README 표에서 HumanEval과 LiveCodeBench 같은 항목에서 높은 성능 수치를 제시해 코딩 작업에 적합함을 나타냈다. 모델은 도구 사용과 에이전트형 작업을 위한 API 호환성과 툴체인 통합도 지원한다.
• 에이전트형 워크플로와 다중 도메인 전문성 통합을 위해 도메인별 SFT와 GRPO 기반 RL 파이프라인을 도입했으며, 그 결과로 통합된 모델이 다양한 도메인의 전문 역량을 유지한다. 포스트트레이닝 단계에서 온-정책 증류를 통해 도메인 전문가들의 행동 분포를 통합함으로써 운영 중 발생하는 분포와의 정합성을 확보했다. 이 절차는 에이전트적 의사결정과 툴 연동 성능을 향상시키는 데 목적을 두었다.

강점

• 1백만 토큰 컨텍스트 지원과 하이브리드 어텐션 설계로 긴 문맥 벤치마크에서 유의한 성능 향상을 달성했다는 점이 강점이다. README 표는 LongBench-V2 등 장문 벤치에서 Flash 변형이 높은 점수를 기록했음을 보여준다. 이로 인해 대규모 문서 집합을 다루는 응용에서 문맥 일관성을 유지할 수 있다.
• FP4·FP8 혼합 정밀도와 MoE 활성화 파라미터 분리를 통해 추론 메모리와 저장 요구를 낮춘 점이 실전 배포 관점에서 유리하다. MoE 전문가를 FP4로 두고 나머지는 FP8로 운영하는 구성은 대용량 모델의 비용 효율을 개선한다. README는 또한 Unsloth 및 llama.cpp 호환성을 통해 다양한 추론 툴체인에서의 실행을 용이하게 했다.

훈련 방식

DeepSeek-V4 시리즈는 32T 토큰 이상의 대규모 코퍼스로 사전학습을 수행한 뒤 도메인별로 SFT와 GRPO 기반의 RL로 전문가를 독립적으로 육성하고, 마지막으로 온-정책 증류를 통해 여러 전문가의 특화 능력을 단일 모델로 통합하는 두 단계의 포스트트레이닝 파이프라인을 적용했다.

알아두면 좋은 것

• DeepSeek-V4 계열은 하이브리드 어텐션(Compressed Sparse Attention + Heavily Compressed Attention)을 도입해 1M 토큰 문맥 환경에서 연산 효율을 개선했으며, README는 V3.2 대비 단일 토큰 추론 FLOPs를 27% 수준으로 낮추고 KV cache를 10% 수준으로 줄였다고 보고했다. 이 수치는 장문 문맥 처리에서 연산과 메모리 병목을 완화하기 위한 구조적 설계의 직접적인 결과이다. 이러한 설계는 대규모 문맥을 다루는 애플리케이션에서 추론 비용과 지연을 모두 낮출 수 있음을 의미한다.
• 모델은 MoE 구조를 채택해 총 파라미터 수와 활성화된 파라미터 수를 분리해 표기했으며, Flash 변형은 총 284B 파라미터 중 13B가 활성화되는 구조를 사용했다. MoE 전문가 파라미터는 FP4로, 나머지 파라미터는 FP8로 혼합 정밀도를 적용하는 방식이 README에 명시되어 있어 저장과 추론 효율을 높였다. 이러한 FP4/FP8 혼합은 대용량 모델을 더 적은 메모리로 운영할 수 있게 한다.
• 사전학습 데이터 규모는 32T 토큰 이상으로 표기되었고 포스트트레이닝은 도메인별 SFT와 GRPO 기반 RL을 독립적으로 수행한 다음 온-정책 증류로 통합하는 두 단계 프로세스를 사용했다. 이 파이프라인은 도메인별 전문성을 유지하면서 단일 모델로 재통합하는 목적을 가진다. README는 또한 Think Max 모드에서 안정적 동작을 위해 최소 384K 토큰 이상의 컨텍스트 윈도우를 권장했다.
• 실행 측면에서 Unsloth Studio와 llama.cpp 최신 버전을 사용해 모델을 구동하도록 권장하며, Q8(UD-Q8_K_XL)로 무손실(full precision lossless) 실행 시 필요한 디스크 용량과 Q4 대비 차이를 구체적으로 안내했다. README는 Unsloth Dynamic 2.0 GGUF와의 호환성 및 성능 개선을 언급하며 모델 운영을 위한 실무적 권장 사항을 포함했다. 모델은 MIT 라이선스를 따르고 HuggingFace와 ModelScope에 공식 다운로드 링크를 제공했다.

기술적 특징

• 하이브리드 어텐션 구조는 Compressed Sparse Attention과 Heavily Compressed Attention을 결합해 긴 문맥에서 모든 토큰 쌍을 계산하지 않고도 핵심 상호작용을 유지한다. 이 설계는 문맥 길이가 1M에 이를 때 연산량과 메모리 사용을 크게 줄여 추론 효율을 확보한다. README는 이 조합으로 V3.2 대비 27% FLOPs, 10% KV cache 감소를 보고했다.
• Manifold-Constrained Hyper-Connections(mHC)는 층간 잔차 연결을 보강해 신호 전달의 안정성을 개선하면서 모델 표현력을 유지하는 역할을 수행한다. 이 기법은 깊은 네트워크에서의 그레이디언트 소실과 정보 희석을 줄여 긴 문맥에서도 학습·추론 안정성을 확보한다. mHC는 고차원 표현의 구조적 제약을 이용해 전파 중 손실을 최소화하도록 설계되었다.
• MoE 아키텍처는 토큰별로 일부 전문가만 활성화해 총 파라미터는 크지만 실제 활성화 파라미터를 낮게 유지함으로써 효율성과 범용성을 동시에 추구했다. Flash 버전은 총 284B 파라미터에서 활성화 파라미터를 13B로 유지해 실제 추론 시 연산 부담을 줄였다. MoE 전문가들은 도메인별 특화 역량을 발현하도록 포스트트레이닝 단계에서 독립적으로 육성되었다.
• 혼합 정밀도 전략은 MoE 전문가 파라미터를 FP4로 두고 나머지 파라미터를 FP8로 운영하는 FP4+FP8 혼합 방식을 채택해 저장 및 메모리 측면의 효율을 극대화했다. FP4 적용은 메모리 사용량을 크게 낮추는 효과를 낳으며 적절한 양자화 설계로 성능 손실을 통제한다. README는 FP4·FP8 혼합이 Flash 및 Pro 변형 모두에 적용된다고 명시했다.
• 포스트트레이닝은 도메인별 SFT와 GRPO 기반의 RL로 전문가를 육성한 뒤 온-정책 증류로 통합하는 두 단계로 구성되어 서로 다른 도메인 전문성을 단일 모델로 결합했다. 이 과정은 실제 운영 분포와의 정합성을 유지하며 다양한 에이전트형 작업에서 일관된 행동을 유도한다. Muon Optimizer는 수렴 속도와 학습 안정성 개선을 위해 도입되었다.

차별점

• 하이브리드 어텐션(CSA + HCA) 조합으로 1M 토큰 환경에서 V3.2 대비 추론 FLOPs와 KV cache를 크게 절감한 점이 차별화 요소이다.
• MoE 구조에서 활성화된 파라미터(13B)를 별도로 운용하고 전문가 파라미터를 FP4로 양자화해 대규모 파라미터의 실사용 비용을 낮춘 설계가 차별화된다.
• 포스트트레이닝 단계에서 SFT·GRPO 기반의 도메인별 전문가 육성과 온-정책 증류를 조합해 다양한 도메인 역량을 하나의 모델로 통합한 점이 다른 공개 모델과의 차별점으로 작용한다.
• 추론 모드를 Non-think, Think High, Think Max로 분리해 연산 예산과 추론 성능 사이의 명시적 트레이드오프를 제공하는 점이 운영 유연성을 높였다.

벤치마크

이미지 분석