본문으로 건너뛰기
Sebastian Raschka (Ahead of AI)

DeepSeek V3에서 V3.2까지: 아키텍처, Sparse Attention 및 RL 업데이트 분석

DeepSeek V3부터 V3.2까지의 아키텍처 진화 과정을 다루며, Sparse Attention 도입과 강화학습 알고리즘(GRPO) 및 자기 검증 기법의 최적화를 통한 성능 향상을 분석한다.

섹션별 상세

01
DeepSeek V3.2의 핵심 아키텍처 변화는 DeepSeek Sparse Attention(DSA)의 도입이다. DSA는 슬라이딩 윈도우 방식과 유사하게 과거 토큰의 일부에만 어텐션을 수행하지만, 고정된 윈도우 대신 'Lightning Indexer'와 'Token Selector'를 통해 학습된 방식으로 관련성 높은 토큰을 선택한다. 이를 통해 어텐션의 연산 복잡도를 O(L^2)에서 O(Lk)로 줄여 긴 컨텍스트 처리 효율을 높였다.
DeepSeek V3.2와 GPT-5-High, Gemini 3.0 Pro 등 주요 모델 간의 벤치마크 성능 비교 차트
ChartDeepSeek V3.2가 수학(AIME 2025), 코딩(Codeforces), 에이전트 성능(SWE Verified) 등 주요 지표에서 상용 플래그십 모델들과 대등하거나 우위에 있음을 보여준다. 특히 추론 능력을 강조한 Speciale 모델의 성능 향상이 두드러진다.
DeepSeek V3/R1의 MoE 및 Latent Attention 기반 아키텍처 다이어그램
Diagram671B 파라미터 규모의 모델이 MLA(Multi-head Latent Attention)와 MoE 레이어를 통해 어떻게 효율적으로 작동하는지 설명한다. 추론 시에는 37B 파라미터만 활성화되어 자원 소모를 줄인다.
2024년 말부터 2025년 말까지의 DeepSeek 모델 릴리스 타임라인
InfographicDeepSeek V3부터 시작하여 R1, V3.1을 거쳐 최신 V3.2에 이르기까지의 개발 주기를 보여준다. 약 1년 동안 지속적인 아키텍처 개선과 실험적 모델(V3.2-Exp) 출시가 이루어졌음을 알 수 있다.
02
수학적 추론 능력을 극대화하기 위해 DeepSeekMath V2의 자기 검증(Self-Verification) 프레임워크를 채택했다. 이는 정답의 유무뿐만 아니라 중간 추론 과정의 논리적 엄밀함을 LLM 기반 검증기(Verifier)와 메타 검증기(Meta-verifier)를 통해 평가하고 학습에 반영하는 방식이다. 학습된 모델은 추론 시 별도의 검증기 없이도 스스로 오류를 수정하는 자기 정제(Self-Refinement) 능력을 갖추게 된다.
DeepSeek-V3에서 R1으로 이어지는 강화학습 및 증류(Distillation) 파이프라인 개요
DiagramV3 베이스 모델에서 RLVR(검증 가능한 보상을 통한 강화학습)을 통해 R1-Zero와 R1이 생성되는 과정을 도식화했다. 이후 Llama나 Qwen 모델로 지식을 증류하는 과정까지 포함하고 있다.
전용 추론 모델과 하이브리드 모델의 출시 흐름 비교 타임라인
InfographicDeepSeek R1과 같은 전용 추론 모델에서 V3.2와 같은 하이브리드(Instruct/Reasoning) 모델로 업계 트렌드가 변화하고 있음을 보여준다. Qwen, Kimi 등 경쟁 모델들과의 출시 시점을 비교한다.
03
강화학습 알고리즘인 GRPO(Group Relative Policy Optimization)에 여러 기술적 업데이트가 적용되었다. 도메인별로 KL 발산(KL Divergence)의 강도를 다르게 설정하고, 특히 수학 도메인에서는 KL 페널티를 낮추거나 제거하여 최적의 성능을 끌어냈다. 또한 오프-폴리시(Off-policy) 데이터 재사용 시 정책 드리프트를 측정하여 부적절한 시퀀스를 마스킹하는 등 학습 안정성을 개선했다.
04
추론 스케일링(Inference Scaling)을 극대화한 'DeepSeek V3.2-Speciale' 변체 모델을 함께 공개했다. 이 모델은 RL 단계에서 추론 데이터 위주로 학습되었으며, 답변 길이에 대한 페널티를 줄여 모델이 더 길고 깊게 생각할 수 있도록 유도한다. 이는 더 많은 토큰을 생성하는 대신 복잡한 문제 해결 능력을 높이는 전략이다.

기술

  • DeepSeek V3.2
  • MLA
  • DSA
  • GRPO
  • RLVR

활용 사례

  • 복잡한 수학 문제 해결
  • 긴 컨텍스트 기반 RAG
  • 자율 코딩 에이전트
  • 고성능 추론 서비스
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2025. 12. 03.수집 2026. 02. 21.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.