추론 프레임워크
모델의 추론을 실행하기 위해 입력 파이프라인, 배치 처리, 스케줄링, 하드웨어 인터페이스를 결합한 소프트웨어 스택을 의미하며, 입력 처리 방식과 자원 할당 정책에 따라 실제 처리량과 지연이 달라진다.
