본문으로 건너뛰기

Sub-quadratic Attention

하위 이차 시간 복잡도 어텐션

입력 길이의 제곱에 비례하는 연산량을 선형 또는 로그 선형 수준으로 줄여 매우 긴 문맥을 효율적으로 처리하려는 기법들의 총칭이다.