추론 소프트웨어
GPU·CPU·네트워크와 결합해 모델 실행 파이프라인을 구성하는 런타임·라이브러리·스케줄러의 집합으로, 배치·지연·메모리 오프로드·커널 최적화 등을 통해 동일 하드웨어에서 더 많은 토큰을 산출하게 만든다.