라이트닝 어텐션
표준 트랜스포머의 이차 복잡도 문제를 해결하기 위해 MiniMax가 도입한 선형 어텐션(Linear Attention) 메커니즘이다. 컨텍스트 길이가 길어져도 연산량이 선형적으로만 증가하여 대규모 데이터를 매우 빠른 속도로 처리할 수 있게 한다.