메모리 어텐션
메모리 어텐션은 현재 토큰의 쿼리와 모델 내부의 고정 크기 메모리 매트릭스 간의 유사도를 계산해 읽기 출력을 얻는 연산입니다. 이 결과는 원래의 토큰-토큰 어텐션과 병합되어 최종 어텐션 출력을 형성하고, 병렬 실행으로 지연을 최소화합니다. 정규화 항과 가중치 γ로 두 분기를 균형 조정합니다.
