TL;DR

DeepSeek‑V4‑Pro는 MoE 구조와 하이브리드 어텐션(CSA+HCA)을 결합해 백만 토큰 문맥을 실용적으로 지원하도록 설계된 대형 언어모델이다. 모델은 MoE 전문가를 FP4로, 나머지 파라미터를 FP8로 운용하는 혼합 정밀도와 Muon Optimizer를 적용했으며 32T 토큰 이상으로 사전학습하고 SFT와 GRPO 기반 RL을 통한 도메인별 전문가 육성 후 온-폴리시 distillation으로 통합하는 포스트트레이닝 파이프라인을 거쳤다. 문서에 따르면 1M 토큰 상황에서 DeepSeek‑V4는 이전 버전 대비 단일 토큰 추론 FLOPs를 27%로, KV 캐시 사용을 10%로 낮추었고 여러 언어·추론·코드 벤치에서 상위 성능을 기록했다. 이 설계는 장문 컨텍스트와 에이전트형 워크플로에서 운영 비용과 메모리 제약을 낮추는 대신 MoE와 혼합 정밀도 운용을 위한 하드웨어·변환 파이프라인을 필요로 하는 트레이드오프가 존재한다.

핵심 포인트

• 백만 토큰 문맥을 직접 설계 목표로 삼아 하드웨어·연산·메모리 측면의 최적화를 병행한 점이 차별화 포인트다. 단일 토큰 FLOPs와 KV 캐시 사용량을 기존 버전 대비 대폭 낮추는 수치적 개선을 제시해 장문 응용에서의 실용성을 확보했다. 이러한 관점은 일반적인 장문 처리 기법보다 실제 운영 비용 절감에 더 직접적으로 연결된다.
• MoE 구조와 FP4+FP8 혼합 정밀도를 조합해 전문가 파라미터의 저정밀화로 메모리 이점을 확보한 점이 차별화된다. 전문가를 FP4로 배치하면 활성화된 전문가에 한해 적은 메모리로 대형 모델 효과를 낼 수 있다. 이 방식은 대규모 모델의 지식 용량을 유지하면서도 추론 효율을 높이는 실무적 장점을 제공한다.
• 추론 모드를 명시적으로 설계해 내부 사고 예산을 조절할 수 있도록 한 점이 제품적 차별화 요소다. Non-think, Think High, Think Max의 세 모드는 응답 속도와 분석 깊이를 사용자 요구에 맞춰 조정하도록 설계되었으며 Think Max는 권장 컨텍스트 창을 통해 고난도 문제에 대응하도록 구성되어 있다. 이 설계는 실서비스에서 지연과 정확도의 균형을 제어하기 쉽게 만든다.
• 장문 문맥 효율성 측면에서 하이브리드 어텐션 설계로 실질적인 연산량과 메모리 절감을 달성했다. 문서 수치에 따르면 1M 토큰 환경에서 V3.2 대비 단일 토큰 FLOPs를 27%로, KV 캐시를 10%로 줄였다. 이 결과는 백만 토큰 단위의 응용에서 실용적 운영 비용 절감으로 연결된다.

벤치마크

이미지 분석