transformerengine

TransformerEngine은 fused attention, fused linear, RMSNorm 등 핵심 연산을 GPU 최적화 커널로 제공해 PyTorch/FlashAttention 대비 연산 효율과 처리량을 높이는 라이브러리이며 MoE를 포함한 다양한 레이어에서 일관된 가속 효과를 제공한다.