이차 병목
표준 Transformer 어텐션에서 입력 길이 N에 대해 N×N 크기의 상호작용 매트릭스를 계산해야 하는 연산·메모리 병목을 의미한다. 이 병목은 긴 시퀀스에서 연산량과 메모리 사용이 제곱으로 증가하는 원인이 된다. 이미지에는 이차 병목 문제를 지적한 뒤 d×d 고정 크기 상태행렬로 축약하는 접근이 제시되어 있다.