linear-associative-attention
선형 연관 어텐션
입력 시퀀스의 키·값 쌍을 선형 결합으로 요약하여 고정 크기 표현으로 압축하는 어텐션 패턴이다. 이 방식은 각 위치별 상호작용을 전체적으로 집계하는 대신 입력을 저차원 상태로 축약함으로써 시퀀스 길이에 따른 메모리 증가를 제어한다. 본문 맥락에서는 Q^T와 V의 곱으로 d×d 상태행렬을 만드는 과정으로 나타난다.
중급
선형 연관 어텐션
입력 시퀀스의 키·값 쌍을 선형 결합으로 요약하여 고정 크기 표현으로 압축하는 어텐션 패턴이다. 이 방식은 각 위치별 상호작용을 전체적으로 집계하는 대신 입력을 저차원 상태로 축약함으로써 시퀀스 길이에 따른 메모리 증가를 제어한다. 본문 맥락에서는 Q^T와 V의 곱으로 d×d 상태행렬을 만드는 과정으로 나타난다.