DeepSeek V3에서 V3.2까지: 아키텍처, Sparse Attention 및 RL 업데이트 분석

섹션별 상세

01

DeepSeek V3.2는 전용 추론 모델인 R1에서 범용 대화와 추론이 모두 가능한 하이브리드 모델로 진화했다. 초기 Qwen3와 유사하게 토크나이저 태그나 시스템 프롬프트를 통해 모드 전환이 가능하며, 이는 다양한 유스케이스에 대응하기 위한 전략적 선택이다.

DeepSeek V3.2와 주요 상용 모델 간의 벤치마크 성능 비교 차트 — ChartDeepSeek V3.2가 AIME 2025, HMMT 2025 등 수학 및 추론 벤치마크에서 GPT-5 High, Gemini 3.0 Pro와 대등하거나 능가하는 성능을 보여줌을 시각화한다.

2024년 말부터 2025년 말까지의 DeepSeek 모델 출시 타임라인 — InfographicV3부터 시작하여 R1, V3.1, V3.2-Exp를 거쳐 최종적으로 V3.2가 출시되기까지의 주요 마일스톤을 시간 순으로 보여준다.

DeepSeek R1의 SFT 및 강화학습 파이프라인 개요도 — DiagramV3 베이스 모델에서 시작하여 R1-Zero를 거쳐 최종 R1 및 증류된 모델들이 만들어지는 다단계 학습 과정을 도식화한다.

전용 추론 모델과 하이브리드 모델의 출시 흐름 비교 타임라인 — Infographic업계의 흐름이 전용 추론 모델에서 일반 대화와 추론이 결합된 하이브리드 모델로 이동하고 있음을 DeepSeek와 Qwen의 사례를 통해 보여준다.

02

MLA(Multi-Head Latent Attention)는 KV 캐시를 저차원 공간으로 압축하여 저장한 뒤 추론 시에만 다시 확장하는 방식을 사용한다. 이는 LoRA와 유사한 다운/업 프로젝션 원리를 활용하여 대규모 모델의 메모리 요구 사항을 획기적으로 줄이는 핵심 아키텍처 요소이다.

DeepSeek V3/R1의 MoE 및 MLA 기반 아키텍처 세부 다이어그램 — Diagram671B 파라미터 규모의 모델 구조에서 MLA와 MoE 레이어가 어떻게 구성되어 있는지, 그리고 추론 시 활성 파라미터 수를 어떻게 줄이는지 설명한다.

03

DSA(DeepSeek Sparse Attention)는 라이트닝 인덱서와 토큰 셀렉터를 통해 모든 과거 토큰 대신 관련성 높은 일부 토큰만 선택적으로 참조한다. 이를 통해 어텐션의 계산 복잡도를 시퀀스 길이의 제곱에서 선형으로 낮추어 긴 컨텍스트 처리 성능을 개선했다.

04

DeepSeekMath V2에서 도입된 자기 검증 기법은 LLM 기반 검증기를 통해 중간 추론 단계의 논리적 엄밀성을 평가한다. 정답뿐만 아니라 풀이 과정의 타당성을 보상 모델로 활용하며, 메타 검증기를 추가하여 검증기 자체의 신뢰도를 높이는 3단계 구조를 갖췄다.

05

GRPO 알고리즘은 도메인별 KL 가중치 최적화와 편향되지 않은 KL 추정 방식을 도입하여 학습 안정성을 높였다. 특히 오프-폴리시 시퀀스 마스킹을 통해 정책이 너무 많이 벗어난 데이터로부터의 학습을 방지하고 MoE 모델의 라우팅 패턴을 고정하여 효율적인 업데이트를 수행한다.

06

V3.2-Speciale 모델은 추론 데이터로만 강화학습을 진행하고 길이 페널티를 완화한 특수 변체이다. 더 많은 토큰을 생성하는 확장된 사고 과정을 통해 복잡한 수학 및 추론 벤치마크에서 일반 모델보다 높은 정확도를 달성했다.

용어 해설

멀티 헤드 잠재 어텐션(MLA): — KV 캐시 메모리 사용량을 줄이기 위해 키와 값 텐서를 저차원 잠재 공간으로 압축하는 기술이다. 추론 시 압축된 텐서를 다시 원래 차원으로 투영하여 계산에 사용함으로써 효율성을 높인다. 대규모 모델의 추론 비용 절감에 필수적이다.
딥시크 희소 어텐션(DSA): — 시퀀스 내의 모든 토큰 대신 학습된 인덱서가 선택한 중요 토큰에만 주의를 기울이는 희소 어텐션 기법이다. 계산 복잡도를 O(L^2)에서 O(Lk)로 낮추어 긴 문맥에서도 빠른 추론 속도를 유지하게 한다.
그룹 상대 정책 최적화(GRPO): — PPO에서 가치 모델(Critic)을 제거하고 그룹 내 상대적 보상을 사용하여 정책을 최적화하는 강화학습 알고리즘이다. 계산 자원을 절약하면서도 LLM의 추론 능력을 효과적으로 정렬할 수 있어 널리 사용된다.
검증 가능한 보상을 통한 강화학습(RLVR): — 수학 정답이나 코드 실행 결과처럼 객관적으로 검증 가능한 보상을 기반으로 모델을 학습시키는 강화학습 방식이다. 모델이 단순히 정답을 맞히는 것을 넘어 논리적인 추론 과정을 학습하도록 유도하는 데 효과적이다.
자기 개선(Self-Refinement): — 모델이 생성한 초기 답변을 스스로 검토하고 피드백을 반영하여 더 나은 답변으로 수정하는 반복적 추론 기법이다. 추론 시 계산량을 늘려 성능을 높이는 Inference Scaling의 대표적인 방법으로 활용된다.