TL;DR

DeepSeek‑V4‑Pro는 MoE 구조와 하이브리드 어텐션(CSA+HCA)을 결합해 백만 토큰 문맥을 실용적으로 지원하도록 설계된 대형 언어모델이다. 모델은 MoE 전문가를 FP4로, 나머지 파라미터를 FP8로 운용하는 혼합 정밀도와 Muon Optimizer를 적용했으며 32T 토큰 이상으로 사전학습하고 SFT와 GRPO 기반 RL을 통한 도메인별 전문가 육성 후 온-폴리시 distillation으로 통합하는 포스트트레이닝 파이프라인을 거쳤다. 문서에 따르면 1M 토큰 상황에서 DeepSeek‑V4는 이전 버전 대비 단일 토큰 추론 FLOPs를 27%로, KV 캐시 사용을 10%로 낮추었고 여러 언어·추론·코드 벤치에서 상위 성능을 기록했다. 이 설계는 장문 컨텍스트와 에이전트형 워크플로에서 운영 비용과 메모리 제약을 낮추는 대신 MoE와 혼합 정밀도 운용을 위한 하드웨어·변환 파이프라인을 필요로 하는 트레이드오프가 존재한다.

핵심 역량

• 백만 토큰 단위의 긴 문맥을 유지하며 사실 기반 질의응답과 문서 검색 결과 통합을 수행할 수 있다. 이 능력은 장문 문서 요약, 대규모 문서베이스에 대한 질의응답, 컨텍스트를 긴 시간에 걸쳐 축적해야 하는 대화형 세션에서 유용하다. 모델은 또한 코드 작성과 디버깅, 수학 문제 풀이 같은 추론 집약적 작업을 처리할 수 있다.
• 세 가지 추론 모드(Non-think, Think High, Think Max)를 통해 응답 속도와 사고 비용을 균형 있게 조절할 수 있다. Non-think는 빠른 직관적 응답을 제공하고 Think High/Max 모드는 내부 사고 시퀀스를 통해 더 깊은 논리적 분석을 수행한다. Think Max 모드는 장시간 컨텍스트와 큰 사고 예산을 요구하는 복잡한 문제 해결에 사용하도록 권장 설정이 제공된다.
• MoE 아키텍처와 혼합 정밀도(FP4+FP8)를 사용해 계산 효율과 모델 용량을 동시에 확보하며, 온디맨드로 활성화되는 전문가 셋이 특정 도메인 능력을 발현한다. 이로 인해 전체 파라미터는 매우 크지만 추론 시 활성화되는 파라미터량은 제어되어 대규모 문맥에서 실용적인 추론 성능을 유지한다. 포스트트레이닝 단계의 SFT 및 RL(GRPO) 기반 전문가 육성과 온-폴리시 distillation 과정은 도메인별 전문성을 단일 모델로 통합하는 역할을 한다.

강점

• 장문 문맥 효율성 측면에서 하이브리드 어텐션 설계로 실질적인 연산량과 메모리 절감을 달성했다. 문서 수치에 따르면 1M 토큰 환경에서 V3.2 대비 단일 토큰 FLOPs를 27%로, KV 캐시를 10%로 줄였다. 이 결과는 백만 토큰 단위의 응용에서 실용적 운영 비용 절감으로 연결된다.
• 대규모 사전학습과 MoE 구조 조합으로 지식 및 추론 능력이 강화되어 여러 벤치마크에서 상위권 성능을 기록했다. README 표에서 HumanEval, MMLU 등 언어·코드·수학 벤치마크에서 높은 점수를 보이며 특히 코드 관련 벤치에서 강한 성능을 보였다. 활성화 파라미터를 통해 대형 모델의 장점을 유지하면서 추론 효율을 확보한 점이 경쟁 우위로 작용한다.
• 운영 관점에서 FP4+FP8 혼합 정밀도와 MoE 전문가의 저정밀화 전략으로 추론 비용을 추가로 낮추었다. MoE 전문가를 FP4로 배치하고 나머지 파라미터를 FP8로 운용함으로써 메모리 사용과 대역폭 부담을 줄였다. 이 조합은 대규모 문맥을 요구하는 실제 서비스에서 비용-성능 균형을 맞추는 데 유리하다.

훈련 방식

사전학습은 32T 토큰 이상의 다양한 고품질 코퍼스로 진행되었고, 모델 구조는 MoE 기반이었다. 포스트트레이닝은 도메인별 전문가를 SFT와 GRPO 기반의 RL로 개별 육성한 뒤 온-폴리시 distillation으로 통합하는 두 단계 파이프라인을 사용했다. 이러한 접근은 도메인 특화 성능을 유지하면서 단일 모델로 여러 전문성을 흡수하도록 설계되었다.

알아두면 좋은 것

• 모델은 MoE 기반으로 Pro 버전은 총 1.6T 파라미터에 활성화 파라미터 49B를 가지며 Flash 버전은 총 284B에 활성화 13B를 갖는다. 두 버전 모두 컨텍스트 길이로 1M 토큰을 지원하도록 설계되었으며 Pro와 Flash는 FP4+FP8 혼합 정밀도 설정을 통해 효율화된 추론을 달성한다. 이 표기는 MoE 전문가 매개변수를 FP4로, 다른 파라미터를 FP8로 처리하는 하드웨어·정밀도 분할을 명시한다.
• 하이브리드 어텐션 구조는 Compressed Sparse Attention과 Heavily Compressed Attention을 결합해 장기 문맥에서의 연산과 메모리 비용을 줄였다. 이 구조는 1M 토큰 환경에서 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs를 27%로 낮추고 누적 KV 캐시를 10% 수준으로 감소시킨다고 보고했다. 해당 수치는 장문 컨텍스트에서의 실질적 효율 개선을 수치로 보여준다.
• 포스트트레이닝 파이프라인은 도메인별 전문가를 독립적으로 SFT와 GRPO 기반 RL로 육성한 뒤 온-폴리시 distillation으로 통합하는 두 단계 전략을 사용한다. 이 과정은 각 도메인의 특화 역량을 보존하면서 단일 모델로 합치는 것을 목표로 하며, 특히 에이전트형 작업과 도메인 지식 기반 태스크에서의 성능 향상을 노렸다. 사전학습은 32T 토큰 이상의 고품질 데이터로 수행되었다고 명시되었다.
• 모델은 세 가지 추론 모드를 제공해 응답 형식과 내부 사고 예산을 조정하도록 설계되었다. Think Max 모드 사용 시 최소 권장 컨텍스트 창은 384K 토큰으로 권장 설정이 문서에 포함되어 있다. 이러한 모드 설계는 응답 속도와 추론 깊이 사이의 사용성 트레이드오프를 직접 제어할 수 있게 한다.

기술적 특징

• 하이브리드 어텐션은 Compressed Sparse Attention과 Heavily Compressed Attention을 조합해 장기 토큰 의존성을 유지하면서 불필요한 연산을 제거한다. 이 설계는 모든 토큰 쌍에 대해 완전한 어텐션을 계산하지 않고도 중요한 토큰 간 상호작용을 보존하도록 설계되었다. 결과적으로 백만 토큰 환경에서 단일 토큰 추론 FLOPs와 KV 캐시 요구량이 크게 줄어드는 효과를 냈다.
• Manifold-Constrained Hyper-Connections(mHC)는 잔차 연결을 보완해 층 간 신호 전달의 안정성을 높이는 구조적 보완책이다. 이 연결은 표현력은 유지하면서 그라디언트 흐름과 신호 감쇠 문제를 완화하도록 설계되었다. 모델의 깊은 네트워크에서 안정성 확보와 학습 수렴 개선에 기여했다.
• Muon Optimizer는 수렴 속도와 학습 안정성을 목표로 채택된 최적화 기법이다. 이 옵티마이저는 학습 중 학습률과 모멘텀 조절 등을 통해 훈련 효율을 개선하는 역할을 수행한다. README는 Muon Optimizer가 기존 설정 대비 더 빠른 수렴과 향상된 안정성을 제공한다고 적시했다.
• 혼합 정밀도 전략은 MoE 전문가 파라미터를 FP4로, 나머지 파라미터를 FP8로 운영하는 방식으로 구현되었다. 이 설계는 전문가 파라미터의 메모리 점유를 낮추면서 전체 모델의 표현력을 유지하는 트레이드오프를 제공한다. 결과적으로 대규모 파라미터를 유지하면서 추론 및 저장 비용을 줄이는 효과가 발생했다.
• 포스트트레이닝은 SFT와 GRPO 기반 RL로 도메인별 전문가를 먼저 육성하고, 이후 온-폴리시 distillation으로 이들 전문가 지식을 통합하는 두 단계 프로세스를 채택했다. 이 방식은 개별 도메인에서의 성능을 높인 다음 단일 모델로 통합해 다양한 태스크에서의 다면적 역량을 확보하도록 설계되었다. 통합 과정은 여러 전문성을 한 모델 안에 흡수하는 역할을 수행한다.

차별점

• 백만 토큰 문맥을 직접 설계 목표로 삼아 하드웨어·연산·메모리 측면의 최적화를 병행한 점이 차별화 포인트다. 단일 토큰 FLOPs와 KV 캐시 사용량을 기존 버전 대비 대폭 낮추는 수치적 개선을 제시해 장문 응용에서의 실용성을 확보했다. 이러한 관점은 일반적인 장문 처리 기법보다 실제 운영 비용 절감에 더 직접적으로 연결된다.
• MoE 구조와 FP4+FP8 혼합 정밀도를 조합해 전문가 파라미터의 저정밀화로 메모리 이점을 확보한 점이 차별화된다. 전문가를 FP4로 배치하면 활성화된 전문가에 한해 적은 메모리로 대형 모델 효과를 낼 수 있다. 이 방식은 대규모 모델의 지식 용량을 유지하면서도 추론 효율을 높이는 실무적 장점을 제공한다.
• 추론 모드를 명시적으로 설계해 내부 사고 예산을 조절할 수 있도록 한 점이 제품적 차별화 요소다. Non-think, Think High, Think Max의 세 모드는 응답 속도와 분석 깊이를 사용자 요구에 맞춰 조정하도록 설계되었으며 Think Max는 권장 컨텍스트 창을 통해 고난도 문제에 대응하도록 구성되어 있다. 이 설계는 실서비스에서 지연과 정확도의 균형을 제어하기 쉽게 만든다.

벤치마크

이미지 분석