집합 통신
분산 컴퓨팅 환경에서 여러 프로세스나 GPU 그룹이 데이터를 공유하거나 연산 결과를 합치기 위해 수행하는 통신 방식이다. AllReduce, AllGather 등이 대표적이며 AI 모델 병렬화의 핵심 요소이다.