책상 위의 데이터센터, Dell Pro Max GB10 AI 워크스테이션 실사용기

섹션별 상세

기존 x86 아키텍처의 CPU-GPU 간 PCIe 연결 방식이 대형 모델 구동 시 데이터 이동 병목의 원인이었습니다. GB10은 20코어 ARM 프로세서와 Blackwell GPU를 단일 패키지로 통합하고 NVLink-C2C 기술을 적용하여 이 문제를 해결했습니다. 이를 통해 하드웨어 레벨에서 메모리 주소 공간을 완벽히 공유하며 불필요한 데이터 복사 과정을 제거했습니다. 엔지니어는 단일 거대 메모리 풀을 다루듯 효율적인 코딩과 자원 관리가 가능해졌습니다.

GPU 전용 VRAM과 시스템 RAM의 구분을 없애고 128GB LPDDR5x 통합 메모리 구조를 채택했습니다. 273GB/s의 대역폭을 통해 H100(80GB)의 용량 한계를 넘어서는 128GB 전체를 VRAM처럼 점유하여 사용할 수 있습니다. 실제 Llama-3.3 70B 모델 구동 시 전체 메모리의 절반 수준인 약 60GB만 사용하여 다중 모델 운용 가능성을 보여주었습니다. 이는 수만 토큰의 컨텍스트 윈도우를 활용하는 RAG 시스템을 로컬에서 안정적으로 구현할 수 있게 합니다.

근거

GB10은 273GB/s 대역폭의 128GB LPDDR5x 통합 메모리를 통해 CPU와 GPU가 메모리 풀을 공유한다. — 1.2. 128GB Unified Memory (LPDDR5x) 섹션

Blackwell 아키텍처의 핵심인 FP4 데이터 포맷 가속을 통해 모델 크기를 획기적으로 줄이면서 추론 성능을 극대화했습니다. Llama-3.3 70B 모델을 NVFP4로 양자화하여 테스트한 결과, 평균 198.31 TPS(Tokens Per Second)라는 압도적인 처리량을 기록했습니다. 첫 토큰 응답 시간(TTFT)은 평균 661.42ms로 1초 미만의 쾌적한 반응 속도를 유지했습니다. 이는 로컬 장비임에도 불구하고 사람이 읽는 속도보다 훨씬 빠른 실시간 스트리밍 추론이 가능함을 의미합니다.

근거

Llama-3.3 70B 모델을 NVFP4 양자화로 구동 시 초당 약 200토큰(198.31 TPS)의 처리량을 기록했다. — 3.2. Inference Speed (Throughput & Latency) 섹션 수치
FP4 양자화 적용 시 70B 모델의 서빙 실행 메모리 점유는 약 60GB로, BF16 대비 성능 하락을 최소화하면서 속도를 확보했다. — 3.1. Model Loading & Memory Footprint 및 Accuracy 벤치마크 표

NVIDIA DGX OS가 사전 설치되어 있어 복잡한 드라이버 및 라이브러리 설정 없이 즉시 개발에 착수할 수 있습니다. Ubuntu 24.04 LTS 기반 환경에 Blackwell 최적화 드라이버, CUDA, Docker 및 NVIDIA Container Toolkit이 모두 통합되어 제공됩니다. ARM 아키텍처(aarch64) 기반이므로 기존 x86 라이브러리와의 호환성 주의가 필요하지만, 표준화된 스택 덕분에 셋업 시간이 획기적으로 단축됩니다. 이는 개발자가 인프라 설정보다 모델 실험과 최적화에 더 집중할 수 있는 환경을 조성합니다.

기술

NVIDIA Blackwell
Grace CPU
LPDDR5x
TensorRT-LLM
CUDA
DGX OS
Llama 3.3

활용 사례

대형 LLM 로컬 파인튜닝 및 추론 테스트
보안이 강조된 온프레미스 AI 서비스 구축
다중 모델 기반 RAG 및 에이전트 파이프라인 개발

언급된 리소스

문서NVIDIA DGX Spark (Marketplace)