critical-batch-size

분산 학습 시 데이터 병렬 처리를 늘려도 학습 속도가 더 이상 선형적으로 증가하지 않고 효율이 급격히 떨어지기 시작하는 배치 크기의 한계점이다. 이 지점을 넘어서면 추가적인 컴퓨팅 자원 투입이 학습 시간 단축에 기여하지 못하고 자원 낭비로 이어진다.