TL;DR

DeepSeek-V4-Flash는 MoE 구조와 Hybrid Attention(CSA+HCA)을 도입해 백만 토큰 컨텍스트를 네이티브로 지원하도록 설계된 대형 언어모델이다. 모델은 MoE 전문가를 FP4로, 나머지 파라미터를 FP8로 배치하는 FP4+FP8 혼합 정밀도와 Muon Optimizer 기반의 학습 파이프라인을 통해 메모리와 연산 비용을 낮추면서도 높은 추론 품질을 유지한다. 사전학습은 32T 토큰 이상으로 진행되었고 SFT·GRPO 기반 RL로 도메인별 전문가를 육성한 뒤 on-policy distillation으로 통합해 다양한 영역에서의 성능을 확보했다. 그 결과 HumanEval·MMLU 등에서 경쟁력 있는 점수를 기록했고, README에서 제시한 정량적 근거로는 V3.2 대비 단일 토큰 FLOPs가 약 27% 수준이고 KV cache 요구량이 약 10% 수준으로 제시되어 장문 처리 비용을 크게 낮춘다는 점이 핵심 강점이다.

핵심 역량

• DeepSeek-V4-Flash는 1M 토큰 컨텍스트 내에서 일관된 텍스트 생성과 장기 의존 관계 유지가 가능하다. 모델은 긴 문서에서 핵심 정보를 집적해 질의응답을 수행하고 문맥 전반의 문맥적 연결성을 활용해 요약·추론을 이어간다. 에이전트형 워크플로우에서 도구 호출과 단계적 문제 해결을 지원하는 출력 포맷과 사고 표기 방식을 제공한다.
• 모델은 코드 생성과 수리 문제 해결에서 높은 성능을 보이는 능력을 갖추었다. README의 벤치마크 표에서 HumanEval과 LiveCodeBench 등의 항목에서 경쟁력 있는 수치를 기록해 실무형 코드 생성 태스크에 적용 가능함이 확인됐다. reasoning 모드 변경을 통해 빠른 응답과 고품질 분석 출력 사이의 균형을 운영자가 제어할 수 있다.
• 장문 검색·검색증강 생성(RAG)과 결합할 때 컨텍스트 윈도우 전체를 활용해 문서 기반 질의응답 성능을 끌어올릴 수 있다. KV cache 및 어텐션 효율 개선으로 1M 토큰 길이의 외부 문서 인코딩과 복합 질의에 대응하는 비용이 낮다. 이로 인해 대규모 문서 아카이브를 다루는 어플리케이션에서 응답 지연과 메모리 비용을 동시 개선할 수 있다.
• 모델은 다양한 추론 정밀도 설정(FP4/FP8 혼합)을 통해 배포 환경의 메모리·성능 요구에 적응한다. MoE 전문가 파라미터를 저정밀도로 배치하면서도 핵심 파라미터는 더 높은 정밀도로 유지해 성능 저하를 최소화한다. 이러한 정밀도 설계는 클라우드 및 엣지 배포 옵션에서 비용 효율을 확보하는 데 기여한다.

강점

• DeepSeek-V4-Flash는 1M 토큰을 처리할 수 있는 설계와 KV cache·FLOPs 최적화로 장문 작업에서 실사용에 가까운 비용 효율을 확보했다. README의 수치로는 V3.2 대비 단일토큰 FLOPs가 약 27%, KV cache가 10% 수준으로 제시되어 장문 처리 비용을 큰 폭으로 낮췄다. 또한 FP4+FP8 혼합 정밀도 도입으로 메모리 절감과 실용적 배포 가능성이 향상되었다.
• 모델의 벤치마크 결과는 언어·추론·코드 태스크 전반에서 경쟁력 있는 성능을 보였다. 특히 HumanEval, LiveCodeBench, MMLU 등에서 높은 점수를 기록해 코드 생성과 복잡한 추론에서 우수함이 확인됐다. 공개 라이선스(MIT)와 높은 다운로드 수는 실용적 채택 가능성을 높이는 요인이다.
• 세 가지 reasoning 모드(Non-think, Think High, Think Max)를 통해 응답 속도와 추론 깊이 간의 운영적 균형을 제어할 수 있다. 이 모드 전환은 동일 모델로 경량 응답부터 심층 추론까지 다양한 SLA를 만족시키는 데 도움이 된다. README는 각 모드의 사용 목적과 출력 형식을 명시해 실무 적용 시 운용 지침을 제공한다.

훈련 방식

사전학습은 32T 토큰 이상의 대규모 혼합 코퍼스에서 진행되었고 이후 도메인별 전문가를 독립적으로 육성하는 SFT 및 GRPO 기반 RL 단계가 수행되었다. 도메인별 전문가 육성 후에는 on-policy distillation으로 서로 다른 전문성을 단일 모델로 통합해 다양한 작업 역량을 합성했다. 이러한 두 단계 파이프라인은 특정 도메인 성능을 유지하면서 통합 모델의 범용성을 확보하는 용도로 설계되었다.

알아두면 좋은 것

• DeepSeek-V4 시리즈는 Hybrid Attention(Compressed Sparse Attention + Heavily Compressed Attention)을 도입해 1M 토큰 환경에서 단일 토큰당 FLOPs를 DeepSeek-V3.2 대비 약 27%로 줄이고 KV cache 요구량은 약 10% 수준으로 낮췄다. 이 수치는 우측 그래프의 FLOPs·KV cache 비교로 시각화되어 있으며 긴 컨텍스트 운영 비용 절감의 근거로 제시됐다. 해당 최적화는 장문 응답 성능을 실용적 비용 안에서 구현하기 위한 설계 결정이다.
• DeepSeek-V4-Flash는 총 284B 파라미터, 활성화 파라미터 13B 구성의 MoE 기반 모델이며 MoE 전문가 파라미터를 FP4로, 그 외 파라미터를 FP8로 배치하는 FP4+FP8 혼합 정밀도를 채택했다. 이 혼합 정밀도 정책은 메모리 사용을 줄이면서도 MoE의 표준적 이점을 유지하는 데 초점을 맞췄다. 모델 표에는 Flash와 Pro의 Base/Max 변형 및 정밀도 차이가 명확히 기재되어 있다.
• 사전학습은 32T 토큰 이상의 대규모 코퍼스에서 진행되었고 사후 학습은 SFT와 GRPO 기반 RL을 통한 도메인별 전문가 육성 후 on-policy distillation으로 통합하는 두 단계 파이프라인으로 구성됐다. 이 파이프라인은 특정 도메인 역량을 독립적으로 강화한 뒤 통합 모델로 병합하여 다중 역량을 확보하는 전략이다. README에 제시된 여러 벤치마크는 이 통합 전략의 효과를 반영한 결과를 보여준다.
• 제품은 MIT 라이선스로 배포되며 Hugging Face와 ModelScope를 통해 Weight를 제공한다. 인퍼런스 예시와 OpenAI-호환 인코딩 유틸리티를 포함한 encoding 폴더를 함께 제공해 응용 통합을 지원한다. Think Max 모드 사용 권장 컨텍스트 창으로 최소 384K 토큰이 명시되어 있어 고집중 추론 시 환경 설정 가이드가 포함되어 있다.

기술적 특징

• Hybrid Attention 설계는 Compressed Sparse Attention(CSA)와 Heavily Compressed Attention(HCA)를 결합해 긴 시퀀스에서의 어텐션 연산을 희소·압축 방식으로 처리한다. 이 구성은 전체 토큰 쌍에 대한 완전한 어텐션 계산을 피하면서 필요한 장기 상호작용을 유지하도록 설계되어 1M 토큰 환경에서 연산 효율을 크게 개선한다. README의 정량적 비교는 이러한 설계가 단일 토큰당 FLOPs와 누적 KV cache를 크게 낮춘다는 근거를 제공한다.
• Manifold-Constrained Hyper-Connections(mHC)는 레지듀얼 연결의 신호 전파 안정성을 강화하기 위해 설계된 구조적 보강이다. mHC는 층 간 정보 흐름을 보다 제어된 방식으로 연결해 깊은 네트워크에서의 그라디언트 흐름과 표현력 보존을 동시에 도모한다. 이 기법은 대규모 MoE 네트워크에서 훈련 안정성과 표현 다양성 확보에 기여한다.
• Muon Optimizer는 수렴 속도와 훈련 안정성을 높이기 위해 채택된 옵티마이저이며 대규모 사전학습에서 안정적인 학습 동작을 제공한다. README는 Muon Optimizer 도입으로 전체 학습 파이프라인의 안정성과 효율이 향상되었음을 명시하고 있다. 옵티마이저 선택은 특히 MoE 구조와 혼합 정밀도 환경에서 중요한 역할을 한다.
• FP4+FP8 혼합 정밀도 전략은 MoE 전문가 파라미터를 FP4로 배치하고 나머지 파라미터는 FP8로 유지하는 방식으로 설계되었다. 이 접근은 메모리 사용량을 줄이면서 MoE의 대규모 파라미터를 배치 가능하게 만들고, 중요한 연산 경로는 더 높은 정밀도로 유지해 성능 저하를 최소화한다. 실무 배포 시 메모리·속도 트레이드오프를 세밀하게 조정할 수 있다.

차별점

• DeepSeek-V4는 1M 토큰 컨텍스트를 네이티브로 지원하도록 설계된 점이 차별화 요소이다. 많은 공개 LLM이 수십만 토큰을 목표로 하는 반면 DeepSeek-V4는 Hybrid Attention과 KV cache 최적화를 통해 백만 토큰 범위에서의 운영 가능성을 제시한다. 이로 인해 대규모 문서 집합의 일괄 처리나 장기 대화 기록 기반 작업에서 유의미한 장점을 제공한다.
• 모델은 MoE 구조와 FP4+FP8 혼합 정밀도를 조합해 활성화 파라미터 규모를 제한하면서도 전체 파라미터를 크게 확장하는 전략을 취했다. MoE 전문가를 저정밀도로 저장해 메모리 비용을 억제하면서도 전문가별 특화 학습을 유지하는 점이 실무적 차별점이다. 이러한 설계는 대형 파라미터 예산을 갖춘 연구 환경뿐 아니라 제한된 배포 자원에서도 활용 가능성을 높인다.
• 사후 학습 단계에서 도메인별 전문가를 독립적으로 육성한 뒤 on-policy distillation으로 통합하는 두 단계 파이프라인을 적용한 점이 제품화 관점에서 차별화된다. 이 방식은 서로 다른 도메인 역량을 개별적으로 최적화한 뒤 단일 모델로 결합하여 다중 작업 성능을 확보하도록 설계되었다. 결과적으로 특정 도메인에서의 섬세한 성능과 범용 모델의 활용성을 동시에 향상시켰다.

벤치마크

이미지 분석