batch-size

한 번의 추론 연산에서 동시에 처리하는 데이터 샘플의 묶음 단위이다. 배치 사이즈가 클수록 전체 처리량은 늘어나지만 개별 데이터의 응답 시간은 길어지는 특성이 있다.