PyTorch와 Nebius, NVIDIA B200 클러스터에서 DeepSeek-V3 MoE 모델 학습 최적화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

NVIDIA B200 클러스터에서 DeepSeek-V3 MoE 모델의 학습 성능을 극대화하기 위한 최적화 실험이 수행됐다. TorchAO의 MXFP8(Microscaling FP8)을 통해 연산 효율을 높이고, DeepSeek의 DeepEP 라이브러리로 전문가 병렬화(EP) 통신 지연을 단축했다. 실험 결과 DeepSeek-V3 671B 모델에서 기본 BF16 대비 최대 41%의 처리량 향상을 달성했으며, 16B 모델에서는 MXFP8이 BF16과 대등한 수렴 성능을 보임을 입증했다. 이는 Blackwell 아키텍처 기반의 차세대 AI 인프라에서 대규모 모델 학습의 비용 효율성을 크게 높일 수 있음을 시사한다.

배경

MoE 아키텍처 이해, 분산 학습(EP, TP, FSDP) 기초 지식, FP8 수치 형식 개념

대상 독자

대규모 언어 모델(LLM) 학습 및 인프라 최적화 엔지니어

의미 / 영향

Blackwell GPU와 MXFP8, 전용 통신 라이브러리의 조합이 차세대 초대형 모델 학습의 표준이 될 것임을 보여준다. 특히 MoE 구조에서 발생하는 고유한 병목을 소프트웨어 계층에서 해결함으로써 하드웨어 잠재력을 극대화할 수 있다.

섹션별 상세

NVIDIA Blackwell(B200) GPU의 5세대 텐서 코어는 MXFP8 형식을 네이티브로 지원하여 BF16 대비 이론상 최대 2배의 TFLOPS를 제공한다. TorchAO를 통해 DeepSeek-V3의 그룹화된 행렬 곱셈(Grouped GEMM)에 MXFP8을 적용함으로써 연산 집약적인 전문가 레이어의 처리 속도를 가속화했다. 이 과정에서 32개 요소 단위의 미세 스케일링을 적용해 수치적 정밀도 손실을 최소화했다.

라우터 입력부터 All-to-All 결합 출력까지의 MXFP8 기본 처리 과정 다이어그램 — DiagramBF16 데이터를 MXFP8로 양자화한 후 그룹화된 GEMM을 수행하고 다시 BF16으로 복구하는 파이프라인을 보여준다. MoE 전문가 레이어에서 연산 가속이 어떻게 이루어지는지 구조적으로 설명한다.

MoE 모델의 핵심 병목인 All-to-All 통신을 최적화하기 위해 DeepSeek에서 개발한 DeepEP 라이브러리를 도입했다. DeepEP는 NVLink와 RDMA를 계층적으로 활용하고 GPU가 직접 NIC를 제어하는 방식을 통해 CPU 개입에 따른 지연을 제거했다. 32개 노드(256 GPU) 환경에서 이 기법은 통신 지연을 획기적으로 줄여 처리량을 베이스라인 대비 32% 향상시켰다.

연산 최적화(MXFP8)와 통신 최적화(DeepEP)는 서로 독립적인 병목 지점을 타격하므로 두 기법을 동시에 적용했을 때 시너지 효과가 발생한다. 671B 모델 실험에서 두 기법을 결합한 결과, 단일 기법 적용 시보다 높은 총 41%의 처리량(918 tokens/sec) 개선을 확인했다. 이는 연산과 통신이 모두 병목인 MoE 아키텍처에서 복합적 최적화의 중요성을 보여준다.

DeepSeek-V3 671B 모델의 최적화 설정별 처리량(TPS) 비교 차트 — Chart표준 EP 대비 DeepEP 단독 적용 시 32%, MXFP8과 결합 시 41%의 성능 향상이 있음을 수치로 증명한다. 각 최적화 기법이 처리량 개선에 기여하는 비중을 시각적으로 나타낸다.

DeepSeek-V3 671B 모델의 처리량 진행 및 베이스라인 대비 이득 차트 — ChartDeepEP와 MXFP8의 조합이 918 TPS에 도달하는 과정을 보여주는 막대 그래프다. 두 최적화가 상호 보완적으로 작용하여 누적된 성능 이득을 제공함을 확인시켜 준다.

저정밀도 수치 형식인 MXFP8 도입에 따른 모델 성능 저하 여부를 검증하기 위해 DeepSeek-V3 16B 모델로 1,500 스텝의 학습 수렴 테스트를 수행했다. 실험 결과 MXFP8의 손실 곡선이 BF16 베이스라인과 거의 일치하여, 정밀도 하락 없이도 학습 가속이 가능함을 증명했다. 이는 대규모 모델의 실전 학습에서 MXFP8의 신뢰성을 뒷받침하는 근거가 된다.

DeepSeek-V3 16B MoE 모델의 BF16 대 MXFP8 손실 수렴 비교 그래프 — Chart1,500 학습 스텝 동안 두 수치 형식의 손실 값이 거의 동일하게 궤적을 그리는 것을 보여준다. MXFP8이 가속 성능뿐만 아니라 학습 안정성 면에서도 BF16과 동등함을 입증한다.

실무 Takeaway

NVIDIA B200 기반 클러스터에서 MXFP8과 DeepEP를 결합하면 DeepSeek-V3와 같은 초대형 MoE 모델의 학습 효율을 40% 이상 높일 수 있다.
MoE 아키텍처의 All-to-All 통신 병목은 표준 NCCL보다 DeepEP와 같은 전용 라이브러리를 사용할 때 훨씬 효과적으로 해결된다.
MXFP8은 32개 요소 단위의 미세 스케일링을 통해 수치적 안정성을 유지하므로, 대규모 모델 학습에서 BF16을 대체할 수 있는 고효율 포맷이다.

언급된 리소스

GitHubNebius ML-CookBook

문서OCP Microscaling Specification