dualpipe

MoE 모델 학습 시 연산과 통신을 겹쳐(overlap) 지연 시간을 줄이는 스케줄링 기법. 5단계 분해를 통해 마이크로 배치 간의 통신을 효율적으로 배치하여 처리량을 높인다.