triton-inference-server

다양한 프레임워크로 학습된 모델을 효율적으로 배포하고 관리할 수 있게 돕는 오픈소스 서버 소프트웨어이나, 단일 로컬 실행 환경에서는 의존성이 무거울 수 있다.