llm-d

다중 벤더 GPU 환경에서 대규모 인퍼런스를 효율적으로 관리하기 위한 오픈소스 러터/오케스트레이션 도구. KV 캐시 상태 추적 및 프리픽스 기반 라우팅 등을 제공한다.