온프렘 LLM 서비스 운영의 고성능 오케스트레이션과 비용 절감: llm-d의 다중 벤더 GPU 활용

온프렘 환경에서 LLM 서비스를 운영하는 기업은 데이터 주권 강화와 비용 관리의 필요성을 동시에 고민한다. llm-d는 다중 벤더 GPU 풀에서 프리필(prefill)과 디코딩(decoding) 단계를 분리하고, KV 캐시를 기반으로 가장 가능성이 높은 인스턴스로 요청을 라우팅하는 스마트 라우터를 제공한다. 이 구조 덕에 이질 하드웨어를 묶어도 처리량이 크게 개선되고 응답 시간이 단축되며, 동시 사용자의 수용 능력이 향상된다. 실험에서 IBM Granite과 Sarvam AI 모델을 다양한 하드웨어에서 3배~5배 빠르게 실행했고, 최대 14,200 토큰/초를 달성해 기존 Kubernetes 설정 대비 크게 우수한 성능을 보였으며, 1,000명 동시 사용 시 연간 GPU 비용이 최대 5.25백만 달러까지 절감될 수 있음을 시사한다.

온프렘/주권형 클라우드 환경에서의 오픈소스 협업은 벤더 락인 없이 자원풀을 확장하고 비용 효율성을 높일 수 있는 실전 사례를 제공한다. 앞으로는 특정 벤더에 의존하지 않는 라우팅의 추가 최적화와 KV 캐시 전송 라이브러리의 교차 백엔드 호환성 강화가 제시되며, 이러한 방향은 더 넓은 하드웨어 조합에서도 고성능 인퍼런스를 달성하는 발판이 된다.