배치 추론
여러 개의 추론 요청을 하나로 묶어 동시에 처리하는 기술이다. GPU 자원 활용도를 극대화하여 개별 요청 처리 시보다 전체 처리량(Throughput)을 대폭 향상시킨다.