동기식 연산
대규모 분산 학습 시 모든 GPU가 연산 단계를 맞추어 동시에 데이터를 주고받는 방식이다. 하나의 GPU나 네트워크 링크만 느려져도 전체 클러스터가 대기 상태에 빠지는 병목 현상이 발생하므로, 네트워크의 안정성과 균일한 성능 유지가 필수적이다.