deepseek-ai/DeepSeek-V4-Flash
284B 파라미터 중 13B만 활성화해 100만 토큰 컨텍스트를 다루는 DeepSeek의 신형 MoE 언어모델.
학습 방식 · 32T 토큰 이상으로 사전학습한 뒤, SFT와 GRPO 기반 RL로 도메인별 전문가를 독립적으로 육성하고 온-폴리시 증류로 여러 전문가 능력을 하나의 모델로 통합했다.
TL;DR
DeepSeek-V4-Flash는 284B 총 파라미터 중 13B만 활성화하는 MoE 모델로, 압축 희소 어텐션(CSA)과 고강도 압축 어텐션(HCA)을 결합한 하이브리드 어텐션과 mHC 잔차 연결로 100만 토큰 컨텍스트를 효율적으로 처리한다. 32T 토큰 이상으로 사전학습한 뒤 SFT와 GRPO 기반 RL로 도메인별 전문가를 따로 키우고 온-폴리시 증류로 하나의 모델에 통합했으며, MoE 전문가는 FP4, 나머지는 FP8로 두는 혼합 정밀도로 추론 비용을 더 낮췄다. Non-think·Think High·Think Max 세 추론 모드를 제공하는데 Think Max 모드에서는 LiveCodeBench 91.6%, HMMT 2026 Feb 94.8%까지 오르지만 Non-think에서는 각각 55.2%, 40.8%로 떨어지는 등 추론 예산에 따라 성능 차이가 크다. 같은 계열의 대형판 V4-Pro-Max(1.6T, 49B 활성)에는 SimpleQA-Verified나 FACTS Parametric 같은 순수 지식 과제에서 못 미치지만, LiveCodeBench(93.5% vs 91.6%)처럼 코딩에서는 오히려 앞서기도 해 대형 모델을 감당하기 어려운 장문·에이전트 워크로드에 적합하다.
핵심 포인트
- 284B 중 13B만 활성화하는 MoE에 CSA+HCA 하이브리드 어텐션을 결합해 1M 토큰을 다룬다.
- 추론 예산을 늘리면 LiveCodeBench 55.2에서 91.6, HMMT 2026 Feb 40.8에서 94.8까지 뛴다.
- MoE 전문가는 FP4, 나머지 파라미터는 FP8로 두는 혼합 정밀도로 배포해 추론 비용을 낮췄다.
- 1.6T급 V4-Pro-Max에는 지식 과제에서 밀리지만 LiveCodeBench 등 코딩 일부에서는 앞선다.
제한사항
- Pro 버전(1.6T, 활성 49B)에 비해 활성 파라미터가 작아 순수 지식 집약적 과제와 가장 복잡한 에이전트 워크플로에서는 상대적으로 뒤처진다고 README가 직접 밝혔다.
- Non-think 모드는 응답이 빠른 대신 LiveCodeBench 55.2%, HMMT 2026 Feb 40.8% 등 추론이 필요한 과제에서 성능이 크게 떨어져, 고난도 작업에는 Think High/Max 모드가 필요하다.
- Think Max 모드를 제대로 쓰려면 384K 토큰 이상의 컨텍스트 창을 권장해, 짧은 컨텍스트로 운용하면 최대 추론 성능을 끌어내기 어렵다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| MMLU (V4-Flash-Base) | EM, 5-shot | 88.7 | DeepSeek-V3.2-Base 87.8보다 높음 |
| HumanEval (V4-Flash-Base) | Pass@1, 0-shot | 69.5 | DeepSeek-V3.2-Base 62.8보다 높음 |
| LiveCodeBench (V4-Flash Max) | Pass@1 | 91.6 | V4-Flash Non-think 55.2, V4-Pro Max 93.5 |
| HMMT 2026 Feb (V4-Flash Max) | Pass@1 | 94.8 | V4-Flash Non-think 40.8 |
| MRCR 1M (V4-Flash Max) | MMR | 78.7 | V4-Pro Max 83.5 |
| LongBench-V2 (V4-Flash-Base) | EM, 1-shot | 44.7 | DeepSeek-V3.2-Base 40.2보다 높음 |
2.1k
LIKES
2.4M
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
