DeepSeek V3에서 V3.2까지: 아키텍처, Sparse Attention 및 RL 업데이트 분석

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

DeepSeek V3.2는 이전 모델의 MoE와 MLA 구조를 계승하면서도 DeepSeek Sparse Attention(DSA)을 도입하여 추론 효율성을 극대화했다. DeepSeekMath V2에서 검증된 자기 검증 및 자기 개선 기법을 통합하고, GRPO 알고리즘의 안정성을 개선하여 추론 능력을 강화했다. 이 아티클은 V3부터 V3.2까지의 진화 과정과 핵심 기술적 변화를 심도 있게 다룬다.

배경

DeepSeek V3 아키텍처에 대한 이해, 강화학습(RL) 및 GRPO 알고리즘 기초 지식, Transformer의 어텐션 메커니즘

대상 독자

LLM 아키텍처 및 강화학습 기반 추론 모델을 연구하고 개발하는 엔지니어

의미 / 영향

DeepSeek V3.2의 등장은 오픈 소스 모델이 폐쇄형 모델의 성능을 따라잡는 속도가 가속화되고 있음을 시사한다. 특히 Sparse Attention과 같은 효율화 기술은 대규모 모델의 운영 비용을 낮춰 실무 적용 가능성을 크게 높인다.

섹션별 상세

DeepSeek V3.2는 전용 추론 모델인 R1에서 범용 대화와 추론이 모두 가능한 하이브리드 모델로 진화했다. 초기 Qwen3와 유사하게 토크나이저 태그나 시스템 프롬프트를 통해 모드 전환이 가능하며, 이는 다양한 유스케이스에 대응하기 위한 전략적 선택이다.

DeepSeek V3.2와 주요 상용 모델 간의 벤치마크 성능 비교 차트 — ChartDeepSeek V3.2가 AIME 2025, HMMT 2025 등 수학 및 추론 벤치마크에서 GPT-5 High, Gemini 3.0 Pro와 대등하거나 능가하는 성능을 보여줌을 시각화한다.

2024년 말부터 2025년 말까지의 DeepSeek 모델 출시 타임라인 — InfographicV3부터 시작하여 R1, V3.1, V3.2-Exp를 거쳐 최종적으로 V3.2가 출시되기까지의 주요 마일스톤을 시간 순으로 보여준다.

DeepSeek R1의 SFT 및 강화학습 파이프라인 개요도 — DiagramV3 베이스 모델에서 시작하여 R1-Zero를 거쳐 최종 R1 및 증류된 모델들이 만들어지는 다단계 학습 과정을 도식화한다.

전용 추론 모델과 하이브리드 모델의 출시 흐름 비교 타임라인 — Infographic업계의 흐름이 전용 추론 모델에서 일반 대화와 추론이 결합된 하이브리드 모델로 이동하고 있음을 DeepSeek와 Qwen의 사례를 통해 보여준다.

MLA(Multi-Head Latent Attention)는 KV 캐시를 저차원 공간으로 압축하여 저장한 뒤 추론 시에만 다시 확장하는 방식을 사용한다. 이는 LoRA와 유사한 다운/업 프로젝션 원리를 활용하여 대규모 모델의 메모리 요구 사항을 획기적으로 줄이는 핵심 아키텍처 요소이다.

DeepSeek V3/R1의 MoE 및 MLA 기반 아키텍처 세부 다이어그램 — Diagram671B 파라미터 규모의 모델 구조에서 MLA와 MoE 레이어가 어떻게 구성되어 있는지, 그리고 추론 시 활성 파라미터 수를 어떻게 줄이는지 설명한다.

DSA(DeepSeek Sparse Attention)는 라이트닝 인덱서와 토큰 셀렉터를 통해 모든 과거 토큰 대신 관련성 높은 일부 토큰만 선택적으로 참조한다. 이를 통해 어텐션의 계산 복잡도를 시퀀스 길이의 제곱에서 선형으로 낮추어 긴 컨텍스트 처리 성능을 개선했다.

DeepSeekMath V2에서 도입된 자기 검증 기법은 LLM 기반 검증기를 통해 중간 추론 단계의 논리적 엄밀성을 평가한다. 정답뿐만 아니라 풀이 과정의 타당성을 보상 모델로 활용하며, 메타 검증기를 추가하여 검증기 자체의 신뢰도를 높이는 3단계 구조를 갖췄다.

GRPO 알고리즘은 도메인별 KL 가중치 최적화와 편향되지 않은 KL 추정 방식을 도입하여 학습 안정성을 높였다. 특히 오프-폴리시 시퀀스 마스킹을 통해 정책이 너무 많이 벗어난 데이터로부터의 학습을 방지하고 MoE 모델의 라우팅 패턴을 고정하여 효율적인 업데이트를 수행한다.

V3.2-Speciale 모델은 추론 데이터로만 강화학습을 진행하고 길이 페널티를 완화한 특수 변체이다. 더 많은 토큰을 생성하는 확장된 사고 과정을 통해 복잡한 수학 및 추론 벤치마크에서 일반 모델보다 높은 정확도를 달성했다.

실무 Takeaway

RAG 시스템이나 긴 대화 기록이 필요한 서비스에 DSA가 적용된 DeepSeek V3.2를 도입하면 메모리 효율과 추론 속도를 동시에 확보할 수 있다.
수학이나 과학적 증명처럼 정답 확인이 어려운 도메인에서는 LLM 기반의 다단계 자기 검증 구조를 구축하여 모델의 논리적 오류를 최소화할 수 있다.
강화학습 시 GRPO의 KL 가중치를 도메인 특성에 맞춰 조정하고 오프-폴리시 데이터를 필터링함으로써 학습의 수렴 속도와 안정성을 개선할 수 있다.