TL;DR

DeepSeek-V4 시리즈는 MoE 아키텍처와 하이브리드 어텐션(CSA+HCA), 그리고 FP4/FP8 혼합 정밀도를 결합해 최대 1,000,000 토큰의 장문 컨텍스트를 실용적으로 처리하도록 설계된 대형 언어모델 군이다. 이 시리즈는 32T 토큰 이상의 사전학습과 SFT·GRPO 기반 전문가 육성 후 온-정책 증류로 통합하는 두 단계의 사후학습 파이프라인을 거쳐 도메인별 전문성과 통합 역량을 확보했다. 아키텍처적 핵심은 어텐션 압축과 mHC 연결을 통해 장문에서 단일 토큰 당 FLOPs와 KV 캐시를 크게 낮춘 것이며 README는 1M 토큰 환경에서 Pro 변형이 기존 버전 대비 27% FLOPs와 10% KV 캐시를 사용한다고 표기했다. 그 결과 코드·수리·추론 벤치마크에서 높은 성능이 보고되며 DSpark 같은 추측적 디코딩 변형은 동일 체크포인트로 저지연 모드를 추가해 배포 유연성을 제공하지만, 혼합 정밀도와 MoE 운용은 구현·하드웨어 요건과 정밀도 관리의 트레이드오프를 수반한다.

핵심 역량

• DeepSeek-V4는 최대 1,000,000 토큰 컨텍스트를 유지하면서 입력 전체를 조건으로 생성 작업을 수행할 수 있다. 이 기능은 장문 검색, 대규모 문서 요약 및 장기 문맥을 필요로 하는 에이전트 플로우에서 연속적 상태를 유지하는 데 유리하다. 컨텍스트 창을 활용할 때는 KV 캐시 압축 기법으로 메모리 부담을 줄이는 설계가 병용된다.
• 세 가지 추론 모드(Non-think, Think High, Think Max)를 통해 연산 예산과 정확도·사고 깊이를 조절할 수 있다. 각 모드는 응답 형식과 내부 'thinking' 토큰 처리 방식을 달리해 짧은 응답부터 심층적 분석까지 단계적으로 활용 가능하다. Think Max 모드는 시스템 프롬프트와 더 긴 컨텍스트를 요구하며 복잡한 추론 경로를 탐색하도록 설계되었다.
• 코드 생성과 수리 문제 해결 능력이 설계상 강화되어 HumanEval 및 수학 벤치마크에서 높은 성능을 보인다. MoE 기반의 전문가 활성화와 사후 훈련 파이프라인이 특정 도메인 역량을 끌어올리는 역할을 한다. LiveCodeBench와 같은 코드 벤치에서 높은 pass@1 성능이 보고되어 실무적 코드 생성에 적합한 특성이 확인된다.

강점

• 장문 컨텍스트 처리에서의 효율성이 README 수치로 뒷받침되어, 1M 토큰 설정에서 Pro 변형은 이전 버전 대비 단일 토큰 FLOPs를 27%로 줄이고 KV 캐시를 10%로 유지하는 설계적 우위를 보인다. 이 수치는 긴 문서·대화 상태를 유지해야 하는 시스템에서 메모리와 연산 비용 측면의 실질적 이점을 의미한다. 결과적으로 장문 관련 벤치인 LongBench-V2나 MRCR 1M에서 유의미한 성능 향상이 보고되었다.
• 코드·수리·추론 벤치마크에서 전반적으로 높은 성능을 기록하여 실무적 생성 및 복잡한 추론 작업에 적합한 성능 프로파일을 제공한다. 예를 들어 HumanEval, LiveCodeBench, HMMT와 같은 코드·수학 관련 벤치에서 상위권 수치가 보고되어 코드 생성과 고난도 문제 해결에 장점을 보인다. MoE 기반 활성화와 사후 통합 파이프라인이 이러한 도메인별 성능 향상에 기여했다는 근거가 README에 제시되어 있다.
• 운영 측면에서는 FP8/FP4 혼합 정밀도와 MoE 활성화 설계를 통해 대형 모델의 실용적 배포 가능성을 확보했다. FP4를 MoE 전문가 파라미터에 적용하고 다른 파라미터는 FP8로 유지하는 혼합전략이 메모리 절감과 품질 균형을 제공한다. 또한 DSpark와 같은 추측적 디코딩 모듈은 동일 체크포인트로 빠른 응답 모드를 추가할 수 있게 해 실전 배포 유연성을 높인다.

훈련 방식

사전학습은 32T 이상의 다양하고 고품질 토큰으로 수행되었고, 이후 SFT와 GRPO 기반의 도메인별 전문가 육성 단계를 거친 다음 온-정책 증류로 통합하는 두 단계의 포스트트레이닝 파이프라인을 적용했다. 이 과정에서 개별 전문가들은 독립적으로 특화 능력을 키우고 통합 단계에서 정책 일관성 및 지식 통합을 확보하도록 설계되었다. Muon Optimizer가 최적화와 수렴 안정성 향상을 위해 학습 과정 전반에 사용되었다.

알아두면 좋은 것

• DeepSeek-V4 시리즈는 사전학습에 32T 이상의 토큰을 사용했고 그 뒤 도메인별 전문가를 독립적으로 육성한 후 온-정책 증류로 통합하는 두 단계의 사후학습 파이프라인을 적용했다. 이 파이프라인은 SFT와 GRPO 기반 보강을 통해 특정 도메인 전문성을 확보한 뒤, 통합 단계에서 정책 일관성을 유지하면서 지식 통합을 목표로 한다. 해당 절차는 README에서 학습 흐름의 핵심으로 명시되어 있다.
• 하이브리드 어텐션 설계는 Compressed Sparse Attention(CSA)와 Heavily Compressed Attention(HCA)를 결합해 긴 문맥에서 연산과 KV 캐시를 줄이는 방향으로 설계되었다. README는 1M 토큰 설정에서 DeepSeek-V4-Pro가 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs를 27%만 사용하고 KV 캐시를 10%만 사용한다고 표기했다. 이 수치는 장문 확장성 최적화의 정량적 근거로 제시되어 있다.
• 모델 변형별로 FP4+FP8 혼합 정밀도를 도입하여 MoE 전문가 매개변수는 FP4로, 다른 파라미터는 FP8 기반으로 운영하는 옵션을 제공한다. 이러한 혼합 정밀도는 메모리 사용을 줄이는 동시에 MoE 전문가의 고용량 파라미터를 실제 운영 가능한 형태로 유지하는 설계적 타협이다. README에 FP4와 FP8 조합이 모델별 표에 표시되어 있다.
• DeepSeek-V4-Pro-DSpark는 동일 체크포인트에 추측적 디코딩 모듈을 부착한 동일 가중치 기반 변형으로, 추측적 디코딩으로 추론 레이턴시 개선을 목표로 한다. README는 DSpark가 새로운 체크포인트가 아니며 모듈화된 추측적 디코딩을 추가한 형태임을 명확히 표기했다. 로컬 실행 가이드와 인퍼런스 예시는 inference 폴더에 포함되어 있다.

기술적 특징

• 하이브리드 어텐션 설계는 Compressed Sparse Attention(CSA)와 Heavily Compressed Attention(HCA)를 결합하여 긴 문맥에서 어텐션 연산량과 KV 캐시 요구량을 줄였다. 이 설계는 모든 토큰 쌍을 처리하는 대신 중요 경로를 선택적으로 압축·희소화해 FLOPs와 메모리를 절감하는 방향으로 동작한다. README에 따르면 이 접근법은 1M 토큰 환경에서 단일 토큰 FLOPs와 KV 캐시를 크게 낮춘 것으로 수치가 제공되었다.
• Manifold-Constrained Hyper-Connections(mHC)는 레이어 간의 잔차 연결을 강화하면서 신호 전파의 안정성을 높이고 표현력을 유지하도록 설계된 연결 패턴이다. mHC는 단순한 잔차 합 대신에 추가적인 제약·스케일링을 통해 깊은 네트워크에서의 기울기 소실과 발산 위험을 완화한다. 이러한 구조적 변경은 대규모 MoE 네트워크의 안정적 학습과 추론에 기여하도록 명시되어 있다.
• 모델 최적화 측면에서는 Muon Optimizer를 채택해 수렴 속도와 학습 안정성을 개선했다는 점이 기술적 특징으로 제시되어 있다. Muon Optimizer는 대규모 파라미터 공간에서 안정적인 업데이트 규칙과 적응적 학습률 조정을 통해 훈련 효율을 높이는 방향으로 동작한다. README는 이 옵티마이저가 빠른 수렴과 안정성 향상에 기여했다고 명시하고 있다.
• 정밀도·메모리 절감 전략으로 FP4와 FP8의 혼합 정밀도를 도입하여 MoE 전문가 파라미터에 FP4를 적용하고 다른 구성요소는 FP8을 사용하는 혼합 방식을 채택했다. 이 방식은 전문가 파라미터의 대규모 용량을 운영 가능한 메모리 한도 안으로 끌어들이면서도 계산 에러를 관리하는 설계적 절충을 제공한다. 결과적으로 대형 MoE 모델의 배포 비용이 줄어드는 효과를 기대할 수 있다.

차별점

• DeepSeek-V4는 CSA와 HCA를 결합한 하이브리드 어텐션을 통해 1M 토큰 문맥에서 FLOPs와 KV 캐시를 대폭 절감한 점이 차별화 요소이다. 이 접근법은 긴 문맥 확장성 문제를 아키텍처 수준에서 해결하려는 설계 결정을 반영한다. README는 수치(27% FLOPs, 10% KV 캐시)를 통해 이 차별점을 정량적으로 제시했다.
• 모델 아키텍처는 대규모 MoE 구조와 활성화된 파라미터 개념을 결합하여 동일한 총 파라미터 수에서도 실사용 추론 비용을 낮춘다. 활성화된 파라미터 기준으로 Pro와 Flash 변형을 구분해 운영 유연성을 제공하며, 이는 대형 모델의 실무적 적용성을 높이는 방향이다. 이 차별점은 모델 변형별 표와 활성화 파라미터 수치로 확인된다.
• 사후학습 파이프라인에서 도메인별 전문가를 독립적으로 육성한 뒤 온-정책 증류로 통합하는 워크플로우는 도메인 전문성 확보와 정책 일관성 유지라는 양면을 동시에 목표로 삼는다. 이 통합 흐름은 단일 모델이 다양한 도메인 능력을 보유하도록 설계된 점에서 다른 공개 모델들과 구별된다. README는 이 프로세스를 명시적으로 기술해 차별성을 부각했다.

벤치마크

이미지 분석