nvmath-python v1.0

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

nvmath-python v1.0은 CUDA‑X 수학 라이브러리를 Python 친화적 API로 제공해 NumPy/CuPy/PyTorch 워크플로를 크게 변경하지 않고도 CPU·GPU·다중 노드에서 고성능 연산을 실행할 수 있다. 범용 API는 이식성과 단순성을 보장하고 advanced 하위모듈의 특화 API는 cuBLASLt 기반의 커널 융합과 상세 설정으로 병목 연산을 가속한다. 클래스 기반 상태형 API는 플래닝과 autotune을 분리해 반복 실행에서 준비 비용을 상환하며, 특정 문제와 하드웨어에서는 autotune으로 큰 속도 향상(예: RTX A6000 256%)이 관찰되었다. numba-cuda 연동과 FFT epilog/prolog 같은 JIT 콜백은 사용자 정의 연산을 파이프라인에 직접 결합해 중간 메모리 이동을 줄이는 실무적 경로를 제공한다.

빠른 이해

새로운 점

도메인 특화 언어로 사용자 정의 희소 포맷을 정의하는 Universal Sparse Tensor(UST)과 Python JIT 콜백을 FFT·GEMM 파이프라인에 삽입하는 연동 방식이 주요 차별점이다.

핵심 메커니즘

nvmath-python은 Python 레이어에서 입력 텐서의 메모리 공간을 판별해 적절한 CUDA‑X 또는 CPU 백엔드를 선택하고, 범용 API와 하드웨어 특화 API를 병행 제공해 작업 특성에 맞게 호출 경로를 바꾼다. 성능 크리티컬 경로에서는 cuBLASLt 기반의 JIT 커널 융합과 클래스 기반 상태형 API의 플래닝·오토튜닝 단계를 통해 준비 비용을 초기 한 번만 지불하고 반복 실행에서 이득을 회수한다. 또한 numba-cuda 등과의 통합으로 사용자 JIT 코드를 epilog/prolog 또는 device API로 결합해 중간 메모리 이동을 줄이고 낮은 산술 집약도 연산의 처리량을 확보하는 것이 핵심 메커니즘이다.

핵심 수치

Autotuning speedup (RTX A6000): 256%- Figure 3에서 특정 문제 크기와 구성에 대해 보고된 최대 속도 향상 수치

섹션별 상세

nvmath-python v1.0 개요

nvmath-python v1.0은 Python 사용자에게 CUDA‑X 수학 라이브러리에 대한 직관적 인터페이스를 제공해 기존 NumPy/CuPy/PyTorch 워크플로를 크게 변경하지 않고 GPU와 분산 환경에서 고성능 연산을 가능하게 한다. 라이브러리는 cuFFT, cuBLASLt, cuDSS, cuSPARSE, cuTENSOR, cuBLASMp 등 CUDA‑X 구성요소 위에 파이썬 친화적 래퍼를 두어 CPU·GPU·다중 노드 실행 공간을 모두 지원한다. 문서와 예제 코드를 통해 입력 텐서의 메모리 공간을 기반으로 실행 공간이 자동 추론되며 로그에 실행 위치가 기록되어 데이터 이동 비용을 진단할 수 있다. 이 섹션의 근거는 블로그 내 API 예제와 로그 출력 예시이며, 이는 사용자가 기존 코드베이스를 크게 고치지 않고 가속을 도입할 수 있음을 보여 준다.

근거

nvmath-python v1.0은 CUDA‑X 수학 라이브러리를 Pythonic API로 노출해 CPU, GPU, 다중노드에서 실행할 수 있다. — 블로그 서두와 설치/메모리·실행 공간 예제 코드(NumPy·CuPy 예)와 로그 출력 예시

설치와 환경 선택

설치는 여러 패키지 관리자(pip, conda, uv, pixi)를 통해 빠르게 수행할 수 있고, 종속성을 모두 설치하거나 최소 설치만 수행하는 옵션을 선택할 수 있다. 사용자는 CPU 백엔드, 디바이스 API, 분산 API와 함께 NumPy·CuPy·PyTorch 중 원하는 어레이 라이브러리를 콤비네이션으로 선택할 수 있으므로 CI/CD나 CPU 전용 환경에서도 유연하게 구성할 수 있다. 이 접근은 복잡한 네이티브 종속성 문제를 줄이고 다양한 호스트 아키텍처(NVIDIA Grace, ARM v8, x86+MKL)로의 이식성을 확보한다. 설치 가이드와 예제 노트북이 리소스로 제공되어 실무 도입 장벽을 낮춘다는 근거가 문서 링크와 블로그의 설치 안내이다.

python

import numpy as np
import nvmath
m, n, k = 10, 40, 100
a = np.random.randn(m, k)
b = np.random.randn(k, n)
c = nvmath.linalg.advanced.matmul(a, b)

NumPy 배열을 입력으로 받아 nvmath-python의 고성능 행렬곱 API를 호출하면 결과가 다시 NumPy 배열로 반환되는 사용 경로를 보여준다. 이 예시는 기존 NumPy 기반 워크플로우를 크게 바꾸지 않고 CUDA‑X 루틴을 사용하게 해 주는 호환성 방식을 드러낸다. 입력 메모리 공간에 따라 실행 공간이 자동 선택되며, 로그를 통해 연산이 어디에서 실행되었는지 추적할 수 있다.

범용 API와 특화 API의 설계 철학

nvmath-python은 범용 API와 특화 API를 분리해 설계했는데, 범용 API는 다양한 실행·메모리 공간과 피연산자 타입을 포괄하면서 공통 옵션만 노출해 사용 편의성을 제공한다. 반대로 advanced 하위모듈의 특화 API는 GPU에 최적화된 상세 설정, 합성 연산, 에필로그/프롤로그 옵션 등을 제공해 병목 연산에서 하드웨어 효율을 최대화한다. 사용자는 작업의 성격에 따라 편의성과 성능 사이에서 합리적 선택을 할 수 있으며, 블로그의 dense matmul 예시는 언제 특화 API를 택해야 하는지에 대한 판단 근거를 제공한다. 이 설계는 성능 크리티컬 패스에서 하드웨어 기능을 직접 활용하면서도 일반적인 파이프라인에서는 간단한 호출로 동작하게 하는 실무적 효용을 만든다.

성능 기법: 커널 융합과 합성 연산

저산술 집약도(compute‑bound이 아닌 memory‑bound) 합성 연산을 여러 개의 독립 커널로 연속 실행하면 중간 결과의 메모리 이동과 호출 오버헤드 때문에 효율이 급격히 떨어진다. nvmath-python은 cuBLASLt의 JIT 기반 커널 융합을 활용해 𝐃 = f(α𝐀𝐁 + β𝐂) 같은 합성 연산을 단일 커널로 처리해 산술 집약도를 인위적으로 높이고 메모리 트래픽을 줄인다. Figure 1의 tall‑and‑skinny GEMM 실험은 다중 커널 대비 단일 fused 커널에서 성능 향상이 관찰된다는 근거를 제공하며, 이는 이미지·시그널 처리와 같은 파이프라인에서 처리량 개선으로 연결된다. 결과적으로 합성 API를 사용할 때는 하드웨어 특화 옵션을 통해 전체 파이프라인 비용을 줄이는 것이 유리하다.

python

import cupy as cp
import nvmath
m, n, k = 10_000_000, 40, 10
a = cp.random.randn(m, k, dtype=cp.float32)
b = cp.random.randn(k, n, dtype=cp.float32)
c = cp.random.randn(m, n, dtype=cp.float32)
alpha, beta = 1.5, 0.5
d1 = alpha * cp.matmul(a, b) + beta * c  # Multiple kernels
d2 = nvmath.linalg.advanced.matmul(a, b, c=c, alpha=alpha, beta=beta)  # Single kernel

tall‑and‑skinny 행렬의 합성 연산에서 여러 커널을 연쇄 호출하면 데이터 이동과 호출 오버헤드가 커진다. 두 줄짜리 비교 코드는 CuPy 방식(다중 커널)과 nvmath-python의 advanced 합성 matmul(단일 커널)을 직접 대비해 커널 융합의 효과를 드러낸다. Figure 1과 일치하는 실험으로 합성 연산에서의 성능 우위를 정량적으로 확보할 수 있다.

근거

합성 연산을 단일 fused 커널로 처리하면 tall‑and‑skinny GEMM 같은 낮은 산술 집약도 작업에서 성능 이득이 발생한다. — Figure 1의 tall‑and‑skinny GEMM 실험과 advanced.matmul의 비교 코드

플래닝·오토튜닝과 상태형 API

nvmath-python의 함수형(무상태) 호출은 편리하지만 각 호출에 플래닝과 autotune 과정을 반복하면 초기 오버헤드가 높아진다. 클래스 기반 상태형 API는 계획(plan), 오토튜닝(autotune), 실행(execute)을 분리해 첫 몇 회의 실행에서 플래닝 비용을 지불하고 이후 반복 실행에서 비용을 상환하는 패턴을 지원한다. Figure 2는 반복 실행 횟수에 따른 비용 추이를 보여 주며, Figure 3은 특정 문제와 하드웨어(RTX A6000)에서 autotuning이 최대 256%의 속도 향상을 제공한 사례를 근거로 제시한다. 따라서 반복적이고 동일한 연산이 많은 워크로드에서는 상태형 API와 autotune의 조합이 총 비용을 줄이는 핵심 수단이다.

python

import nvmath
from nvmath.linalg.advanced import MatmulEpilog
import cupy as cp
feed_count = 10
batch_size = 1024
m, n, k = 1024, 1024, 1024
a = cp.random.rand(batch_size, m, k, dtype=cp.float32)
b = cp.random.rand(batch_size, k, n, dtype=cp.float32)
bias = cp.random.rand(batch_size, m, 1, dtype=cp.float32)
with nvmath.linalg.advanced.Matmul(a, b) as mm:
    mm.plan(epilog=MatmulEpilog(MatmulEpilog.RELU_BIAS), epilog_inputs={"bias": bias})
    mm.autotune(iterations=5)
    for i in range(feed_count):
        d = mm.execute()
        mm.reset_operands_unchecked(a=d)

클래스 기반의 상태형 API는 플래닝(plan), 자동튜닝(autotune), 실행(execute)을 분리해 반복 실행에서 준비 비용을 분산시킨다. 이 코드는 배치 수만큼 반복적으로 동일 연산을 실행하는 워크로드에서 상태형 API가 어떻게 준비 비용을 상환하는지를 보여 준다. Figure 2의 비용 추세와 대응하며, autotune 결과는 직렬화해 다른 세션에서 재사용할 수 있다.

근거

상태형 API와 autotune을 사용하면 반복 실행에서 플래닝·튜닝 비용을 상환해 총 실행 비용을 줄일 수 있다. — Figure 2의 비용 추세와 상태형 Matmul 예제 코드(plan/autotune/execute)
어떤 문제에서는 autotuning이 큰 성능 향상을 보였고, 예로 RTX A6000에서 특정 문제에 대해 256% 속도 향상이 관찰되었다. — Figure 3의 벤치마크 결과와 하드웨어별 비교 설명

사용자 정의 커널과 JIT 콜백 통합

nvmath-python은 numba-cuda 같은 Python 컴파일러와 연동해 사용자 정의 JIT 커널을 nvmath 파이프라인에 결합할 수 있는 인터페이스를 제공한다. FFT에 epilog/prolog로 JIT 컴파일된 콜백을 삽입해 주파수 도메인 필터를 바로 적용하거나, device API를 numba 커널에 링크해 Monte Carlo RNG 같은 낮은 산술 집약도 루틴을 GPU 내부로 옮길 수 있다. 블로그의 Gaussian 필터 예제와 GBM Monte Carlo 예시는 이 흐름을 코드와 처리 결과(이미지 필터링, 경로 생성)로 증명하며, 이는 중간 메모리 전송을 줄이고 성능을 확보하는 실무적 방법임을 보여 준다. 개발자는 이러한 융합을 통해 파이썬 생산성과 네이티브 성능을 동시에 얻을 수 있다.

python

from PIL import Image
import nvmath
import cupy as cp
img = cp.asarray(Image.open("your_lovely_dog.jpg").convert("L")) / 255.0
sigma_value = 20.0
# frequency-domain Gaussian H(fx,fy) = exp(-2*pi^2*sigma^2*(fx^2+fy^2))
def gaussian_filter(shape, sigma):
    fy = cp.fft.fftfreq(shape[0])[:, None]
    fx = cp.fft.rfftfreq(shape[1])[None, :]
    return cp.exp(-2.0 * cp.pi * cp.pi * sigma * sigma * (fx * fx + fy * fy))
# epilog_impl compiled and used as FFT epilog
h_filter = gaussian_filter(img.shape, sigma_value)
img_fft = nvmath.fft.rfft(img, epilog={"ltoir": epilog, "data": h_filter.data.ptr})
filtered_img = nvmath.fft.irfft(img_fft)

사용자 정의 JIT epilog를 FFT 파이프라인에 삽입해 주파수 도메인 필터를 바로 적용하는 예시이다. 주파수 필터를 별도의 커널로 분리하지 않고 FFT의 epilog로 컴파일된 코드를 결합하면 중간 메모리 전송을 줄이고 처리량을 개선할 수 있다. Figure 4의 원본과 필터링 결과 비교는 이 방식의 시각적 효과를 확인시키는 근거가 된다.

python

from numba import cuda
from nvmath.device import random
import cupy as cp
# Pre-compile the RNGs into IR to use alongside other device code
compiled_rng = random.Compile(cc=None)
# RNG initialization kernel
@cuda.jit(link=compiled_rng.files, extensions=compiled_rng.extension)
def init_rng(states, seed):
    idx = cuda.grid(1)
    random.init(seed, idx, 0, states[idx])
# Path generation kernel uses compiled RNG inside device code

nvmath-python의 device API를 numba-cuda 커널에서 호출하도록 사전 컴파일된 RNG를 링크하는 워크플로우 예시이다. Monte Carlo 경로 생성처럼 낮은 산술 집약도를 갖는 루프 연산은 호스트 API 호출만으로는 비효율이므로 device API와 커널을 결합해 연산을 GPU 내부에서 융합해야 처리량을 확보한다. 이 예시는 generate_gbm_paths에서 RNG를 직접 소비해 성능 병목을 해소하는 방법을 보여 준다.

도입 경로와 추가 자료

빠른 시작은 pip install nvmath-python[cu13] 한 줄로 가능하며, 설치 문서·GitHub 리포지토리·튜토리얼 노트북이 추가 학습 자료로 제공된다. 예제 스크립트(example14~16)와 튜토리얼은 autotune, 수동 튜닝, 알고리즘 재사용 시나리오를 다루어 실제 배포 단계에서의 운영 절차를 보완한다. 이러한 자료들은 초기 실험에서 autotune의 유효성 판단과 tuned plan의 직렬화 및 배포를 손쉽게 해 주어 운영 환경으로 옮기는 시간을 단축한다.

용어 해설

커널 융합(Kernel fusion): — 여러 연산을 단일 GPU 커널로 합쳐 메모리 전송을 줄이고 산술 집약도를 높이는 최적화 기법이다. nvmath-python은 cuBLASLt의 JIT fusion을 활용해 연쇄된 연산을 하나의 실행 경로로 합쳐 성능을 높인다. 저연산 집약 작업에서 합성 연산을 단일 커널로 처리하면 호출 오버헤드와 중간 결과 메모리 이동을 크게 줄일 수 있다.
자동 튜닝(Autotuning): — 여러 후보 커널을 실행해 성능을 측정하고 최적의 구현을 선택하는 준비 과정이다. nvmath-python은 특정 문제 크기와 레이아웃에 대해 autotune을 수행해 최적의 커널을 고른 뒤 그 계획을 재사용한다. 이 과정은 초기 비용이 크지만 반복 실행에서 이 비용을 상쇄해 총 처리량을 개선한다.
상태형 API(플래닝/실행 분리)(Stateful API): — 계획(plan), 튜닝(autotune), 실행(execute)을 명확히 분리해 플래닝 비용을 여러 실행에 상환(amorize)하는 인터페이스이다. nvmath-python의 클래스 기반 API는 이 흐름을 구현해 반복적 워크로드에서 준비 비용을 절감한다. 튜닝 결과는 직렬화해 다른 세션이나 동형 시스템에 배포할 수 있다.
GEMM(General Matrix Multiply)(GEMM): — 행렬 곱셈의 일반화로 고성능 수치연산의 핵심 빌딩블록이다. nvmath-python은 dense/structured 입력을 모두 처리하는 범용 API와 GPU에 특화된 고성능 합성 API를 통해 GEMM 병목을 해소한다. tall‑and‑skinny 같은 낮은 산술 집약도 케이스에서는 합성 및 fused 구현이 중요하다.
FFT(고속 푸리에 변환)(FFT): — 시간·공간 신호를 주파수 도메인으로 변환하는 핵심 알고리즘이다. nvmath-python은 cuFFT 계열과 연동해 입력 텐서의 메모리 공간을 판단해 CPU/GPU에서 적절히 실행하고, 사용자 정의 JIT epilog/prolog 콜백을 주파수 처리에 삽입할 수 있다. 이미지 필터 같은 파이프라인에서 사용자 콜백으로 필터링을 바로 적용해 중간 메모리 이동을 줄인다.

기술

NumPy
CuPy
PyTorch
cuBLASLt
cuFFT
cuBLASMp
numba-cuda
NVPL
Intel MKL

언급된 리소스

문서원문 링크

import cupy as cp import nvmath m, n, k = 10_000_000, 40, 10 a = cp.random.randn(m, k, dtype=cp.float32) b = cp.random.randn(k, n, dtype=cp.float32) c = cp.random.randn(m, n, dtype=cp.float32) alpha, beta = 1.5, 0.5 d1 = alpha * cp.matmul(a, b) + beta * c # Multiple kernels d2 = nvmath.linalg.advanced.matmul(a, b, c=c, alpha=alpha, beta=beta) # Single kernel

import nvmath from nvmath.linalg.advanced import MatmulEpilog import cupy as cp feed_count = 10 batch_size = 1024 m, n, k = 1024, 1024, 1024 a = cp.random.rand(batch_size, m, k, dtype=cp.float32) b = cp.random.rand(batch_size, k, n, dtype=cp.float32) bias = cp.random.rand(batch_size, m, 1, dtype=cp.float32) with nvmath.linalg.advanced.Matmul(a, b) as mm: mm.plan(epilog=MatmulEpilog(MatmulEpilog.RELU_BIAS), epilog_inputs={"bias": bias}) mm.autotune(iterations=5) for i in range(feed_count): d = mm.execute() mm.reset_operands_unchecked(a=d)

from PIL import Image import nvmath import cupy as cp img = cp.asarray(Image.open("your_lovely_dog.jpg").convert("L")) / 255.0 sigma_value = 20.0 # frequency-domain Gaussian H(fx,fy) = exp(-2*pi^2*sigma^2*(fx^2+fy^2)) def gaussian_filter(shape, sigma): fy = cp.fft.fftfreq(shape[0])[:, None] fx = cp.fft.rfftfreq(shape[1])[None, :] return cp.exp(-2.0 * cp.pi * cp.pi * sigma * sigma * (fx * fx + fy * fy)) # epilog_impl compiled and used as FFT epilog h_filter = gaussian_filter(img.shape, sigma_value) img_fft = nvmath.fft.rfft(img, epilog={"ltoir": epilog, "data": h_filter.data.ptr}) filtered_img = nvmath.fft.irfft(img_fft)

from numba import cuda from nvmath.device import random import cupy as cp # Pre-compile the RNGs into IR to use alongside other device code compiled_rng = random.Compile(cc=None) # RNG initialization kernel @cuda.jit(link=compiled_rng.files, extensions=compiled_rng.extension) def init_rng(states, seed): idx = cuda.grid(1) random.init(seed, idx, 0, states[idx]) # Path generation kernel uses compiled RNG inside device code

TL;DR

빠른 이해

새로운 점

핵심 메커니즘

핵심 수치

섹션별 상세

nvmath-python v1.0 개요

설치와 환경 선택

범용 API와 특화 API의 설계 철학

성능 기법: 커널 융합과 합성 연산

플래닝·오토튜닝과 상태형 API

사용자 정의 커널과 JIT 콜백 통합

도입 경로와 추가 자료

용어 해설

기술

언급된 리소스

TL;DR

빠른 이해

새로운 점

핵심 메커니즘

핵심 수치

섹션별 상세

nvmath-python v1.0 개요

설치와 환경 선택

범용 API와 특화 API의 설계 철학

성능 기법: 커널 융합과 합성 연산

플래닝·오토튜닝과 상태형 API

사용자 정의 커널과 JIT 콜백 통합

도입 경로와 추가 자료

용어 해설

기술

언급된 리소스

관련 토론

댓글

관련 기사

nisbenz의 TensorLib: 순수 C로 구현한 CPU 전용 텐서와 역전파 자동미분 라이브러리

정규화 오버헤드 제거: 정규화를 GEMM과 어텐션 커널에 융합하기

Triton 플러그인 확장으로 TLX와 커스텀 컴파일러 패스 기본 제공

PyTorch 2.13 출시: MPS용 FlexAttention, CuTeDSL 백엔드, 메모리 최적화 기능 추가

관련 토론

댓글

관련 기사

nisbenz의 TensorLib: 순수 C로 구현한 CPU 전용 텐서와 역전파 자동미분 라이브러리

정규화 오버헤드 제거: 정규화를 GEMM과 어텐션 커널에 융합하기

Triton 플러그인 확장으로 TLX와 커스텀 컴파일러 패스 기본 제공

PyTorch 2.13 출시: MPS용 FlexAttention, CuTeDSL 백엔드, 메모리 최적화 기능 추가