NVIDIA DGX Spark(GB10)에서 vLLM을 성공적으로 실행하기 위한 가이드

최신 하드웨어에 대한 선구적인 시도에 대해 긍정적인 반응이며, 공유된 리포지토리가 유용하다는 평가이다.

• NVIDIA NGC 컨테이너와 PyPI 패키지 혼용 시 ABI 버전을 체크하여 충돌을 방지할 것
• GB10 환경에서 추론 성능을 최적화하기 위해 CUDA Graph 기능을 활성화할 것
• 초기 구동 시 시스템이 멈춘 것처럼 보여도 xet 다운로드가 완료될 때까지 대기할 것

• NVIDIA NGC 컨테이너 사용 시 PyPI 버전 PyTorch와의 ABI 충돌을 피하기 위해 환경 설정을 일치시켜야 한다.
• GB10 칩셋에서 CUDA Graph를 활성화하면 BF16 추론 시 약 9%의 성능 향상을 얻을 수 있다.
• 현재 CUDA 12.8 환경에서는 FP4 양자화 모델을 사용할 수 없으며 차기 버전의 툴킷 지원이 필수적이다.
• 첫 구동 시 발생하는 28분간의 지연은 대규모 데이터 다운로드 때문이므로 시스템 중단으로 오해하지 말아야 한다.