dynamic-batching

추론 시 입력 데이터의 개수(배치 크기)를 고정하지 않고 실행 시점에 유연하게 조절할 수 있게 하는 기술이다. 서버 환경에서 처리량을 극대화하기 위해 필수적이다.