sglang-runtime

언어 모델 추론을 실행하는 소프트웨어 환경이다. 이 글의 custom SGLang runtime은 단일 RTX 5090에서 Escha 모델을 82.6 tok/s로 실행한 구성 요소로 언급됐다.