Recurrent Memory

순환 메모리는 고정 크기 행렬로 과거의 (키, 값) 기여를 누적하여 쿼리와 곱해 출력값을 계산하는 상태다. 한 토큰당 연산이 메모리 업데이트와 매트릭스-벡터 곱으로 축소되어 컨텍스트 길이에 대해 선형 또는 상수 비용을 달성한다. 다양한 게이트와 채널별 조작으로 잔존 정보의 망각과 덮어쓰기 동작을 제어한다.