batch-size
한 번의 추론 연산에서 동시에 처리하는 데이터 샘플의 묶음 단위이다. 배치 사이즈가 클수록 전체 처리량은 늘어나지만 개별 데이터의 응답 시간은 길어지는 특성이 있다.
GPU만으로는 부족하다? AI 서비스 성공을 결정짓는 배치 크기의 비밀