압축 희소 어텐션
중요한 정보에만 집중하면서도 데이터를 압축하여 처리하는 어텐션 기법이다. 인덱싱 시스템을 통해 필요한 정보의 위치를 빠르게 찾아내어 긴 문맥에서도 연산 효율을 높인다.