MegaMoE

MegaMoE는 expert-parallel all-to-all 통신을 grouped GEMM 내부로 합쳐 token dispatch와 expert 계산, 결과 결합을 함께 처리하는 Primus-Turbo 연산입니다. 기존에는 dispatch, 두 번의 grouped GEMM, activation, combine이 여러 kernel과 보조 복사로 나뉘었지만, MegaMoE는 dispatch_grouped_gemm과 grouped_gemm_combine의 두 fused kernel로 축소합니다. MI355X에서 MoE 모듈의 forward는 1.63배, backward는 1.33배, 양방향 합산은 1.43배 빨라졌습니다.