본문으로 건너뛰기

관련 기사 바로가기

Red Hat이 공개한 에이전트 환경에서의 LLM 추론 최적화와 Disaggregation 전략온프렘 LLM 서비스 운영의 고성능 오케스트레이션과 비용 절감: llm-d의 다중 벤더 GPU 활용AWS, llm-d 기반의 LLM 분산 추론(Disaggregated Inference) 기능 발표llm-d FS 백엔드: vLLM을 위한 공유 스토리지 기반 KV 캐시 오프로딩
← 피드로 돌아가기

llm-d

Inference Engines (추론 엔진)

약 4개 아티클

관심 태그 추가
관련 태그:vLLMGLM 5.2H200AWSKV CacheLlama 3.1IBM
TIMEHEADLINE