self-attention

입력 시퀀스의 각 토큰이 다른 모든 토큰과의 관계를 계산하는 메커니즘이다. 시퀀스 길이 n에 대해 O(n²)의 연산 복잡도를 가지며, 문장이 길어질수록 계산 비용이 급격히 증가하는 특징이 있다.