2대의 NVIDIA DGX Spark 실전 인퍼런스 경험: 성능·확장성·문제점 공유

작성자는 2대의 NVIDIA DGX Spark를 사용해 오픈소스 LLM 인퍼런스와 프로덕션 운영을 수행한 경험을 공유하며 자체 호스팅을 선택한 이유로 프라이버시, 학습 경험, 장기 비용 절감을 들었다. 입력 쿼리는 로컬에서 GPU로 전달되어 모델 파라미터와 활성화를 VRAM에서 로드한 뒤 연산을 거쳐 토큰을 생성하는 흐름으로, Qwen 3.5 122B는 단일 Spark에서 약 40–50 tokens/s, Qwen 3.6 27B는 약 15 tokens/s, Nemotron 3 Super는 약 20–25 tokens/s 정도의 처리량을 보고했다.

하드웨어 비교에서 작성자는 DGX Spark가 M3 Ultra보다 프롬프트 처리에서 빠르지만 RTX Pro 6000보다 느리며, 토큰 생성 속도는 상대적으로 더 느리다고 제시해 성능·비용의 트레이드오프를 명확히 밝혔다. 노드 확장은 메모리 측면에서 거의 1:1 증가하지만 연산 성능은 노드당 약 50–80% 효율로 증가해 2노드 이상부터는 네트워크와 샤딩 오버헤드로 인한 성능 저하와 운영 복잡도가 커진다.

실무적으로는 민감 데이터·지속적 워크로드가 있다면 자체 하드웨어가 경제적일 수 있으나, 전력·냉각 확보와 드라이버·라이브러리 호환성 점검, 확장 시 네트워크 비용 계산이 필수이며 이러한 제약을 고려해야 총소유비용과 안정성을 맞출 수 있다.