quadratic attention

입력 시퀀스의 모든 토큰 쌍을 비교하면서 계산량과 메모리 사용량이 시퀀스 길이의 제곱에 따라 늘어나는 Attention 방식입니다. CWAA는 이 구조를 대신해 recurrence state를 순차적으로 갱신하는 접근을 택합니다.