interconnect-bandwidth

GPU 클러스터에서 노드 간 데이터 전송 용량을 의미하며, 모델 병렬 학습 중 gradients나 매개변수 교환에서 병목을 만들 수 있다. 네트워크 대역폭과 레이턴시가 부족하면 GPU가 통신을 기다리며 유휴 시간이 발생하고 전체 학습 처리량이 하락한다. 본문에서는 100GbE 환경에서 대역폭 관련 비용(숨겨진 세금)을 핵심 원인으로 지적하고 있다.