NVIDIA Blackwell, MLPerf Training 6.0 벤치마크 전 부문 석권

섹션별 상세

NVIDIA Blackwell 플랫폼은 MLPerf Training 6.0의 7개 벤치마크 전 부문에서 가장 빠른 학습 시간을 기록했다. 특히 DeepSeek-V3 671B와 GPT-OSS-20B 같은 MoE 워크로드에서 탁월한 성능을 보였다. 이는 NVLink 스위치를 통해 72개의 GPU를 하나의 거대한 GPU처럼 통합하여 통신 병목을 해결한 결과이다.

MLPerf Training 6.0 벤치마크 결과 차트 — ChartNVIDIA Blackwell NVL72 시스템이 다양한 모델 학습에서 가장 빠른 시간을 기록했음을 보여준다.

GB300 NVL72 시스템은 GB200 NVL72 대비 최대 1.6배 빠른 학습 성능을 제공한다. 이는 NVFP4 저정밀도 연산 도입, 메모리 용량 확장, 전력 효율 개선을 통해 달성되었다. 대규모 모델 학습 시 컴퓨팅 밀도를 높여 더 짧은 시간에 학습을 완료할 수 있다.

GB300 NVL72와 GB200 NVL72 성능 비교 차트 — ChartGB300 NVL72가 GB200 NVL72 대비 최대 1.6배 빠른 학습 성능을 제공함을 보여준다.

근거

GB300 NVL72 delivered up to 1.6x faster training than GB200 NVL72 — NVIDIA GB300 NVL72 Delivered up to 1.6x Performance Over GB200 NVL72 section

NVIDIA는 8,192개의 GPU를 연결하는 대규모 클러스터 학습을 성공적으로 수행하며 확장성을 증명했다. Microsoft Azure는 Llama 3.1 405B 모델을 8,192개의 GPU로 학습하여 7.07분 만에 목표 품질에 도달했다. CoreWeave 또한 DeepSeek-V3 671B 모델을 8,192개의 GPU에서 2.02분 만에 학습 완료했다.

MLPerf Training 6.0 학습 규모 확장 차트 — Chart8,192개의 GPU를 활용한 대규모 학습 규모의 증가 추이를 나타낸다.

근거

CoreWeave... reaching the quality target in 2.02 minutes at 8,192-GPU scale — Scale: Largest Blackwell Cluster in MLPerf Training section

생산 환경에서의 안정성을 위해 NVIDIA는 제조 단계부터 30개 이상의 테스트를 거치며, 장애 발생 시 자동으로 우회하는 자가 치유 기능을 갖췄다. Spectrum-X 이더넷은 네트워크 수준에서 장애 링크를 밀리초 단위로 우회하여 작업 중단 없는 학습을 지원한다. NVRx(NVIDIA Resiliency Extension)는 장애 발생 시 전체 재시작 없이 최근 체크포인트에서 빠르게 복구하여 학습 효율을 높인다.

용어 해설

전문가 혼합 모델(MoE): — Mixture-of-Experts의 약자로, 모델 전체를 활성화하는 대신 입력에 따라 필요한 전문가(expert) 서브네트워크만 선택적으로 활성화하는 아키텍처입니다. 연산 효율을 높여 대규모 모델 학습과 추론을 가속화합니다.
NVLink: — NVIDIA의 고속 GPU 인터커넥트 기술로, 여러 GPU를 하나의 거대한 메모리 풀과 컴퓨팅 자원으로 통합합니다. 대규모 모델 학습 시 GPU 간 데이터 전송 병목을 해결하여 성능을 극대화합니다.
NVFP4: — NVIDIA가 도입한 4비트 저정밀도 부동소수점 데이터 형식입니다. 모델 학습 시 연산 정밀도를 낮추어 메모리 사용량을 줄이고 학습 속도를 획기적으로 높이는 최적화 기법입니다.
Spectrum-X: — NVIDIA의 고성능 이더넷 네트워킹 플랫폼입니다. AI 클러스터의 확장성을 지원하며, 네트워크 장애 시 밀리초 단위로 경로를 우회하는 등 안정적인 대규모 학습 환경을 제공합니다.

기술

NVIDIA Blackwell
GB200 NVL72
GB300 NVL72
NVLink
Spectrum-X
InfiniBand
NVFP4

활용 사례

대규모 LLM 학습
MoE 모델 학습
AI 인프라 최적화