본문으로 건너뛰기

magiattention

MagiAttention

이질적 마스크를 포함하는 초장 컨텍스트를 분산 학습에서 효율적으로 처리하기 위한 분산 어텐션 프레임워크.