본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
로그인
홈
트렌딩
검색
커뮤니티
프로필
llm-d (llm-d) 용어 설명 | AI Trends
llm-d
llm-d
중급
다중 벤더 GPU 환경에서 대규모 인퍼런스를 효율적으로 관리하기 위한 오픈소스 러터/오케스트레이션 도구. KV 캐시 상태 추적 및 프리픽스 기반 라우팅 등을 제공한다.
비슷한 개념
tensorrt-llm
llm-router
llm-cli
llm-gateway
model-router
kv-cache-optimization
provider-routing
paged-kv-cache
← 용어 사전 전체 보기