ClearML과 NVIDIA Dynamo: 대규모 분산 AI 추론을 위한 운영 제어 평면

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

NVIDIA Dynamo 1.0은 데이터센터 규모의 분산 추론 오케스트레이션 프레임워크로, 여러 GPU 노드를 하나의 통합된 서빙 시스템으로 전환한다. ClearML은 이 프레임워크 위에 보안, 멀티테넌트 거버넌스, 인프라 자동 확장 기능을 제공하는 운영 레이어를 구축했다. 이 통합 솔루션은 프리필과 디코드 단계의 분리, KV 캐시 인지 라우팅 등을 통해 추론 성능을 최적화한다. 실제 벤치마크에서 DeepSeek-V3 모델의 시작 속도가 7배 빨라지고 SLA 위반이 80% 감소하는 성과를 거두었다. 결과적으로 기업은 복잡한 분산 인프라 관리 부담 없이 대규모 모델을 안정적으로 프로덕션에 배포할 수 있다.

배경

LLM 추론 파이프라인(Prefill/Decode)에 대한 이해, Kubernetes 및 GPU 오케스트레이션 기초 지식, KV Cache 및 분산 학습/추론 개념

대상 독자

대규모 LLM을 프로덕션 환경에서 운영하며 비용과 지연 시간 최적화가 필요한 AI 플랫폼 엔지니어 및 MLOps 전문가

의미 / 영향

NVIDIA Dynamo와 ClearML의 통합은 초거대 모델(400B+) 서빙의 기술적 장벽을 낮추어 기업들이 고성능 추론 인프라를 직접 구축하고 운영할 수 있게 합니다. 특히 분리형 서빙과 계층형 캐싱 기술은 RAG 및 에이전트 워크플로의 운영 비용을 획기적으로 절감하는 표준 아키텍처가 될 것으로 전망됩니다.

섹션별 상세

대규모 LLM 추론 시 단일 GPU 노드의 한계를 극복하기 위해 분산 서빙 시스템 구축이 필수적이다. NVIDIA Dynamo는 vLLM, SGLang과 같은 추론 엔진 상단에서 여러 노드를 조정하여 단일 시스템처럼 작동하게 한다. 이를 통해 DeepSeek-R1이나 Qwen3-Coder와 같은 400B 이상의 파라미터를 가진 모델을 효율적으로 서빙할 수 있다. 인프라 비용을 최소화하면서도 지연 시간 SLA를 준수하는 탄력적인 확장이 가능해진다.

추론 과정의 효율을 높이기 위해 연산 특성이 다른 프리필과 디코드 단계를 물리적으로 분리한다. Dynamo의 분리형 서빙은 각 단계에 최적화된 GPU 풀을 독립적으로 할당하고 확장하여 자원 경합을 제거한다. 긴 문서를 처리하는 프리필 작업이 다른 요청의 토큰 생성(디코드)을 방해하지 않도록 설계됐다. 이를 통해 워크로드 프로필에 맞춰 인프라를 정밀하게 사이징할 수 있다.

반복되는 프롬프트 컨텍스트를 재사용하기 위해 KV 캐시를 인지하는 지능형 라우팅을 적용한다. Dynamo의 라우터는 특정 KV 캐시 블록을 보유한 워커를 추적하여 동일 접두사가 포함된 요청을 해당 워커로 우선 배포한다. Qwen3-Coder 480B 벤치마크 결과, 프롬프트 재사용이 많은 워크로드에서 첫 토큰 생성 시간이 2배 단축됐다. 에이전트 워크플로나 챗봇처럼 시스템 프롬프트가 반복되는 환경에서 특히 효과적이다.

근거

KV-aware 라우팅 적용 시 Qwen3-Coder 480B 모델의 TTFT가 2배 향상됐다. — KV-Aware Routing 섹션 및 Baseten 벤치마크

GPU 메모리 부족 문제를 해결하기 위해 GPU HBM, CPU DRAM, NVMe SSD를 아우르는 계층형 KV 캐시 관리 시스템을 도입했다. KV Block Manager(KVBM)는 사용 빈도가 낮은 캐시 블록을 하위 계층으로 오프로드하고 필요 시 다시 불러와 재계산을 방지한다. 현재 TensorRT-LLM과 vLLM 백엔드에서 이 기능을 지원하며 SGLang 지원도 준비 중이다. 이는 물리적 GPU 메모리 한계를 넘어 더 긴 컨텍스트 윈도우를 지원하게 한다.

대규모 모델의 느린 콜드 스타트 문제를 해결하기 위해 GPU 간 직접 가중치 스트리밍 기술인 ModelExpress를 사용한다. NIXL과 NVLink를 통해 가중치를 전송함으로써 수 분이 걸리던 모델 로딩 시간을 획기적으로 줄였다. H200 하드웨어에서 DeepSeek-V3 모델의 시작 속도가 기존 대비 7배 향상되는 결과를 얻었다. 급격한 트래픽 증가에 대응하는 오토스케일링의 반응 속도가 크게 개선됐다.

근거

DeepSeek-V3 모델의 시작 속도가 ModelExpress 기술을 통해 7배 빨라졌다. — Verified Performance Numbers 표 및 ModelExpress 섹션

단순 자원 사용률이 아닌 실제 사용자 경험 지표인 TTFT와 ITL을 기준으로 오토스케일링을 수행한다. Dynamo의 Planner 컴포넌트는 워크로드 특성을 프로파일링하여 정의된 지연 시간 목표를 달성하는 최소 인프라 규모를 유지한다. 알리바바의 APSARA 2025 배포 사례에서 기존 방식 대비 SLA 위반은 80% 줄이고 총소유비용(TCO)은 5% 절감했다. 인프라 효율성과 서비스 품질 사이의 최적 균형점을 자동으로 찾아준다.

근거

Planner 오토스케일링을 통해 SLA 위반을 80% 줄이면서 TCO를 5% 절감했다. — The Planner: SLA-Driven Autoscaling 섹션 및 알리바바 APSARA 2025 벤치마크

용어 해설

Disaggregated Serving: — LLM 추론의 두 단계인 프리필(Prefill)과 디코드(Decode)를 서로 다른 GPU 풀에서 독립적으로 처리하는 방식이다. 연산 중심의 프리필과 메모리 대역폭 중심의 디코드를 분리함으로써 자원 경합을 방지하고 전체 시스템의 처리량과 지연 시간을 최적화한다.
KV-Aware Routing: — 요청의 프롬프트가 이전에 처리된 KV 캐시 블록을 포함하고 있는지 확인하여 해당 캐시를 보유한 워커로 요청을 전달하는 기술이다. 중복되는 프롬프트 계산을 생략함으로써 첫 번째 토큰 생성 시간(TTFT)을 획기적으로 단축시킨다.
KV Block Manager: — GPU 메모리(HBM)가 부족할 때 KV 캐시를 CPU DRAM이나 NVMe SSD로 옮겨 저장하는 계층형 스토리지 관리 시스템이다. 이를 통해 GPU 메모리 용량을 초과하는 긴 컨텍스트를 재계산 없이 효율적으로 처리할 수 있게 한다.
Gang Scheduling: — 분산 처리가 필요한 여러 작업을 하나의 단위로 묶어 모든 자원이 동시에 가용할 때만 실행을 시작하는 방식이다. NVLink와 같은 고속 인터커넥트를 활용해야 하는 대규모 모델 추론 시 워커 간의 통신 효율을 극대화하기 위해 사용된다.

언급된 리소스

GitHubNVIDIA Dynamo on GitHub

문서ClearML Platform Overview