온프렘 LLM 서비스 운영의 고성능 오케스트레이션과 비용 절감: llm-d의 다중 벤더 GPU 활용

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

온프렘 환경에서 LLM 서비스를 운영하는 기업은 데이터 주권 강화와 비용 관리의 필요성을 동시에 고민한다. llm-d는 다중 벤더 GPU 풀에서 프리필(prefill)과 디코딩(decoding) 단계를 분리하고, KV 캐시를 기반으로 가장 가능성이 높은 인스턴스로 요청을 라우팅하는 스마트 라우터를 제공한다. 이 구조 덕에 이질 하드웨어를 묶어도 처리량이 크게 개선되고 응답 시간이 단축되며, 동시 사용자의 수용 능력이 향상된다. 실험에서 IBM Granite과 Sarvam AI 모델을 다양한 하드웨어에서 3배~5배 빠르게 실행했고, 최대 14,200 토큰/초를 달성해 기존 Kubernetes 설정 대비 크게 우수한 성능을 보였으며, 1,000명 동시 사용 시 연간 GPU 비용이 최대 5.25백만 달러까지 절감될 수 있음을 시사한다.

온프렘/주권형 클라우드 환경에서의 오픈소스 협업은 벤더 락인 없이 자원풀을 확장하고 비용 효율성을 높일 수 있는 실전 사례를 제공한다. 앞으로는 특정 벤더에 의존하지 않는 라우팅의 추가 최적화와 KV 캐시 전송 라이브러리의 교차 백엔드 호환성 강화가 제시되며, 이러한 방향은 더 넓은 하드웨어 조합에서도 고성능 인퍼런스를 달성하는 발판이 된다.

섹션별 상세

기업들이 LLM 서비스를 온프렘으로 확장하는 과정에서 데이터 주권과 성능 관리, 비용 통제가 핵심 과제로 떠오른다. llm-d는 프리필과 디코딩 단계를 분리하고, 각 단계에 특화된 하드웨어 풀에서 실행되도록 라우팅하는 구조를 제공한다. 이로써 이종 하드웨어 간의 드리프트를 줄이고, 프리필 작업은 메모리 중심 노드로, 디코딩은 속도 중심 노드로 분배하는 방식이 가능해진다. 실험에서 NxtGen sovereign cloud에서 Granite과 Sarvam AI 모델의 처리 속도와 동시 사용자 수가 크게 향상되었고, 비용 관리 측면에서도 실용적 시사점을 준다.

전통적인 Kubernetes 설정은 라운드 로빈 방식으로 요청을 분산시켜 느린 GPU가 병목으로 작용하는 반면, llm-d의 프리픽스-캐시 인덱스 라우터는 KV 캐시의 상태를 실시간으로 추적해 프리픽스가 일치하는 캐시를 보유한 인스턴스로 요청을 전달한다. 이로 인해 3벤더 풀에서 처리량이 9,600토큰/s에서 하락하던 구간을 벗어나 14,200토큰/s까지 도달했고, 고부하 상황에서도 응답 시간이 크게 단축된다. Sarvam-30B를 1,000명 동시 사용자에게 서비스하는 사례에서는 연간 최대 5.25백만 달러의 GPU 비용 절감 가능성이 제시됐다.

이 같은 성과는 벤더 간 이질적 하드웨어 풀을 하나의 생산 클러스터로 활용하는 데 따라오는 비용 효율성 및 확장성의 실질적 가능성을 보여주며, open-source 생태계의 협력으로 기업들이 공급망에 대한 제약 없이 LLM 서비스를 운영할 수 있음을 시사한다.

결과적으로 llm-d의 Kubernetes 네이티브 제어Plane은 처리량, 대기시간, 자원 활용도 측면에서 기존 접근법 대비 우수한 성능을 보여주며, 보다 폭넓은 온프렘 배포의 실용화를 가능하게 한다.

용어 해설

주권형 클라우드(Sovereign Cloud): — 온프렘/프라이빗 인프라에서 데이터 주권과 규제 준수를 보장하기 위해 다수의 벤더 하드웨어를 하나의 생산 클러스터에서 운용하는 아키텍처; 데이터 거주 규정 준수와 공급망 다양성 관리에 초점이 있다.
KV 캐시(KV cache): — 키-값 캐시를 여러 노드에서 공유·재사용하도록 하는 구성요소로, 프롬프트 프리픽스에 대한 캐시 일치를 실시간으로 추적해 재사용 가능한 캐시를 우선적으로 활용한다.
프리필-디코딩 분리(prefill–decoding separation): — 프리필(prefill) 단계의 입력 처리와 텍스트 생성(decoding) 단계를 분리해 각각의 하드웨어 풀에서 독립적으로 최적화 가능하도록 하는 기술적 설계.
다중 벤더 GPU 풀링(multi-vendor GPU pooling): — 여러 벤더의 GPU를 하나의 자원풀로 묶어 효율적으로 배치하고, 드라이버/런타임 차이를 관리하는 배포 및 운영 전략.
온프렘 배포(on-premises deployment): — 데이터 및 모델을 기업 내부 또는 자체 소유/임대 인프라에서 처리하도록 하는 배포 방식으로 데이터 거주성과 보안 통제를 강화한다.
llm-d: — 다중 벤더 GPU 환경에서 대규모 인퍼런스를 효율적으로 관리하기 위한 오픈소스 러터/오케스트레이션 도구. KV 캐시 상태 추적 및 프리픽스 기반 라우팅 등을 제공한다.

근거 모음

근거

llm-d가 다양한 하드웨어에서 IBM Granite과 Sarvam AI 모델을 3~5배 빠르게 실행할 수 있다. — NxtGen sovereign cloud 실험 구간
해당 구성으로 동시 사용자 수가 최대 두 배 증가할 수 있다. — 실험에서의 다중 벤더 하드웨어 활용 사례
Sarvam-30B 모델을 1,000명의 동시 사용자가 서비스하는 경우 연간 GPU 비용이 최대 5.25백만 달러까지 절감될 수 있다. — 비용 절감 계산

기술

vLLM
SGLang
llm-d
IBM Granite
Sarvam AI
NxtGen sovereign cloud

활용 사례

On-prem LLM serving
Multi-vendor GPU utilization
Cost optimization in AI deployments