선형 어텐션
표준 어텐션 메커니즘의 연산 복잡도가 입력 길이의 제곱에 비례하는 문제를 해결하기 위해 고안된 기법이다. 연산량을 입력 길이에 선형적으로 비례하게 줄여 메모리 사용량을 최적화한다. 이를 통해 매우 긴 컨텍스트를 처리할 때도 성능 저하를 최소화하며 빠른 추론 속도를 유지할 수 있게 해준다.
학습하지 않은 해상도와 비율도 척척, 해상도 불변 AI의 등장
테스트 시점 학습(TTT)의 비밀: 알고 보니 고성능 선형 어텐션이었다
RNN의 부활? RWKV-7이 선형 어텐션의 이론적 한계를 깨는 방법
1만 건의 사용자 이력도 실시간 추천, HyTRec으로 히트율 8% 향상
알리바바 Qwen 3.5 공개, 397B 거대 모델의 효율적 추론 비결은?