전대전 통신
분산 컴퓨팅에서 모든 프로세스가 서로 데이터를 주고받는 통신 패턴이다. MoE 모델에서 토큰을 적절한 전문가에게 분배하고 결과를 다시 수집하는 과정에서 핵심적인 역할을 하며 흔히 병목이 된다.