본문으로 건너뛰기

vllm-day0

vLLM day-0 인퍼런스 컨테이너

vLLM day-0 인퍼런스 컨테이너는 모델 특화 초기 지원을 제공하는 vLLM의 배포 이미지로, 새 모델 아키텍처나 대규모 포맷을 신속하게 서비스하기 위해 커스텀 빌드와 설정을 포함한다. Kimi K3 사례에서는 vllm/vllm-openai:kimi-k3 커밋이 해당 역할을 하며 모델 로딩과 토크나이징에 필요한 특수 처리를 포함한다. 이 컨테이너는 대규모 MoE 모델의 day-0 운영을 단순화한다.