sparse-attention-1m
스파스 어텐션과 100만 토큰 문맥
MiniMax-M3가 도입한 희소 어텐션 설계로 대규모 문맥(최대 1,000,000 토큰)을 지원해 장문 비정형 입력을 부분적으로 선택적으로 처리하면서 메모리와 계산을 절감하는 방식입니다.
스파스 어텐션과 100만 토큰 문맥
MiniMax-M3가 도입한 희소 어텐션 설계로 대규모 문맥(최대 1,000,000 토큰)을 지원해 장문 비정형 입력을 부분적으로 선택적으로 처리하면서 메모리와 계산을 절감하는 방식입니다.
