MXFP8 GEMM: CUDA와 PTX를 사용하여 cuBLAS 성능의 최대 99% 달성

대체로 긍정적이며, 저수준 최적화가 가져오는 성능 이득에 대해 높은 관심을 보였다.

• B200 하드웨어에서 DeepSeek-V3와 같은 대규모 모델 학습 시 MXFP8과 TorchTitan을 활용하여 성능을 최적화할 수 있다.

일반 행렬 곱셈(GEMM)

— General Matrix Multiply의 약자로, 딥러닝의 핵심인 행렬 곱셈 연산을 의미한다. 대부분의 신경망 연산 시간을 차지하므로 최적화가 성능의 핵심이다.

마이크로스케일링 FP8(MXFP8)

— Microscaling FP8의 약자로, 8비트 부동소수점 포맷에 미세 조정 스케일링을 더해 정밀도 손실을 최소화하면서 연산 속도를 높인 기술이다.

병렬 스레드 실행(PTX)

— Parallel Thread Execution의 약자로, NVIDIA GPU에서 실행되는 저수준 가상 명령어 집합이다. CUDA 코드보다 하드웨어에 더 가까운 제어가 가능하다.

cuBLAS

— NVIDIA에서 제공하는 GPU 가속 행렬 연산 라이브러리이다. 딥러닝 프레임워크들이 표준적으로 사용하는 고성능 연산 라이브러리이다.