CUDA Multi-Process Service
CUDA Multi-Process Service
CUDA Multi-Process Service는 여러 프로세스가 하나의 NVIDIA GPU를 동시에 사용하도록 SM 자원을 분할하는 기능입니다. 각 인스턴스에 일정 비율의 SM을 배정해 기본 time-slicing의 순차 실행과 context-switch overhead를 줄이고, 낮은 요청별 GPU 사용률을 높은 동시 처리량으로 연결합니다.
CUDA Multi-Process Service
CUDA Multi-Process Service는 여러 프로세스가 하나의 NVIDIA GPU를 동시에 사용하도록 SM 자원을 분할하는 기능입니다. 각 인스턴스에 일정 비율의 SM을 배정해 기본 time-slicing의 순차 실행과 context-switch overhead를 줄이고, 낮은 요청별 GPU 사용률을 높은 동시 처리량으로 연결합니다.
