all-reduce

모든 노드가 가진 데이터를 특정 연산(예: 합계)으로 통합한 뒤, 그 결과를 다시 모든 노드에 동일하게 배분하는 통신 작업이다. 분산 학습에서 그래디언트를 동기화할 때 필수적으로 사용된다.