quadratic-scaling

입력 데이터의 길이가 늘어남에 따라 연산량이나 메모리 사용량이 그 제곱에 비례하여 증가하는 특성이다. 표준 트랜스포머 어텐션 메커니즘의 주요 한계점으로, 문맥이 길어질수록 하드웨어 자원 소모가 급격히 커지는 원인이 된다.