Quadratic Cost of Attention
Attention의 제곱级 연산 비용
Attention이 긴 시퀀스의 위치 쌍을 비교하면서 입력 길이에 대해 제곱级으로 연산량이 증가하는 비용 구조입니다. 게시물은 이를 Transformer 확장의 주요 한계로 거론합니다.
Attention의 제곱级 연산 비용
Attention이 긴 시퀀스의 위치 쌍을 비교하면서 입력 길이에 대해 제곱级으로 연산량이 증가하는 비용 구조입니다. 게시물은 이를 Transformer 확장의 주요 한계로 거론합니다.
