Inference Framework
추론 프레임워크
모델의 추론을 실행하기 위해 입력 파이프라인, 배치 처리, 스케줄링, 하드웨어 인터페이스를 결합한 소프트웨어 스택을 의미하며, 입력 처리 방식과 자원 할당 정책에 따라 실제 처리량과 지연이 달라진다.
추론 프레임워크
모델의 추론을 실행하기 위해 입력 파이프라인, 배치 처리, 스케줄링, 하드웨어 인터페이스를 결합한 소프트웨어 스택을 의미하며, 입력 처리 방식과 자원 할당 정책에 따라 실제 처리량과 지연이 달라진다.
