TL;DR

DeepSeek-V4 시리즈는 MoE 아키텍처와 하이브리드 어텐션(CSA+HCA), 그리고 FP4/FP8 혼합 정밀도를 결합해 최대 1,000,000 토큰의 장문 컨텍스트를 실용적으로 처리하도록 설계된 대형 언어모델 군이다. 이 시리즈는 32T 토큰 이상의 사전학습과 SFT·GRPO 기반 전문가 육성 후 온-정책 증류로 통합하는 두 단계의 사후학습 파이프라인을 거쳐 도메인별 전문성과 통합 역량을 확보했다. 아키텍처적 핵심은 어텐션 압축과 mHC 연결을 통해 장문에서 단일 토큰 당 FLOPs와 KV 캐시를 크게 낮춘 것이며 README는 1M 토큰 환경에서 Pro 변형이 기존 버전 대비 27% FLOPs와 10% KV 캐시를 사용한다고 표기했다. 그 결과 코드·수리·추론 벤치마크에서 높은 성능이 보고되며 DSpark 같은 추측적 디코딩 변형은 동일 체크포인트로 저지연 모드를 추가해 배포 유연성을 제공하지만, 혼합 정밀도와 MoE 운용은 구현·하드웨어 요건과 정밀도 관리의 트레이드오프를 수반한다.

핵심 포인트

• DeepSeek-V4는 CSA와 HCA를 결합한 하이브리드 어텐션을 통해 1M 토큰 문맥에서 FLOPs와 KV 캐시를 대폭 절감한 점이 차별화 요소이다. 이 접근법은 긴 문맥 확장성 문제를 아키텍처 수준에서 해결하려는 설계 결정을 반영한다. README는 수치(27% FLOPs, 10% KV 캐시)를 통해 이 차별점을 정량적으로 제시했다.
• 모델 아키텍처는 대규모 MoE 구조와 활성화된 파라미터 개념을 결합하여 동일한 총 파라미터 수에서도 실사용 추론 비용을 낮춘다. 활성화된 파라미터 기준으로 Pro와 Flash 변형을 구분해 운영 유연성을 제공하며, 이는 대형 모델의 실무적 적용성을 높이는 방향이다. 이 차별점은 모델 변형별 표와 활성화 파라미터 수치로 확인된다.
• 사후학습 파이프라인에서 도메인별 전문가를 독립적으로 육성한 뒤 온-정책 증류로 통합하는 워크플로우는 도메인 전문성 확보와 정책 일관성 유지라는 양면을 동시에 목표로 삼는다. 이 통합 흐름은 단일 모델이 다양한 도메인 능력을 보유하도록 설계된 점에서 다른 공개 모델들과 구별된다. README는 이 프로세스를 명시적으로 기술해 차별성을 부각했다.
• 장문 컨텍스트 처리에서의 효율성이 README 수치로 뒷받침되어, 1M 토큰 설정에서 Pro 변형은 이전 버전 대비 단일 토큰 FLOPs를 27%로 줄이고 KV 캐시를 10%로 유지하는 설계적 우위를 보인다. 이 수치는 긴 문서·대화 상태를 유지해야 하는 시스템에서 메모리와 연산 비용 측면의 실질적 이점을 의미한다. 결과적으로 장문 관련 벤치인 LongBench-V2나 MRCR 1M에서 유의미한 성능 향상이 보고되었다.

벤치마크

이미지 분석