선형 트랜스포머
어텐션 연산의 복잡도를 입력 길이의 제곱에서 선형으로 줄이기 위해 커널 함수 등을 사용하는 트랜스포머 변형 모델이다.
트랜스포머의 한계를 넘다: 200만 컨텍스트를 처리하는 Google의 Titans