shortswa

전체 시퀀스가 아닌 현재 토큰 주변의 제한된 범위(윈도우) 내에서만 어텐션을 수행하는 기법이다. 연산 복잡도를 낮추면서도 로컬 문맥 정보를 효과적으로 섞을 수 있어 효율적인 모델 설계에 활용된다.