메모리 캐싱: 성장하는 메모리를 갖춘 순환 신경망(RNN)

트랜스포머(Transformers)는 대부분의 최근 시퀀스 모델링(sequence modeling) 발전의 실질적인 중추(de-facto backbones)로 자리 잡았으며, 이는 주로 문맥 길이(context length)에 따라 확장되는 메모리 용량 덕분입니다. 이러한 특성은 정보 검색(retrieval) 작업에는 타당하지만, 이차 복잡도(quadratic complexity)를 유발하며, 이에 따라 최근 연구들은 실행 가능한 하위 제곱(subquadratic) 순환 대안(recurrent alternatives)을 탐구하도록 자극받았습니다. 다양한 도메인에서 유망한 예비 결과를 보여주었음에도 불구하고, 이러한 순환 아키텍처는 회상 집약적(recall-intensive) 작업에서 트랜스포머보다 낮은 성능을 보이며, 이는 종종 고정된 크기의 메모리 때문으로 간주됩니다. 본 논문에서는 순환 모델의 메모리 상태(은닉 상태(hidden states)라고도 함)의 체크포인트를 캐싱하여 이를 향상시키는 단순하면서도 효과적인 기술인 메모리 캐싱(Memory Caching, MC)을 소개합니다. 메모리 캐싱은 순환 신경망(RNN)의 유효 메모리 용량이 시퀀스 길이에 따라 증가하도록 허용하며, 순환 신경망의 고정 메모리(즉, O(L) 복잡도)와 트랜스포머의 성장형 메모리(즉, O(L^2) 복잡도) 사이를 보간(interpolate)하는 유연한 절충안을 제공합니다. 저자들은 게이트형 집계(gated aggregation)와 희소 선택적 메커니즘(sparse selective mechanisms)을 포함한 네 가지 MC 변형을 제안하고, 선형 및 심층 메모리 모듈 모두에 대한 함의를 논의합니다. 언어 모델링(language modeling) 및 긴 문맥 이해(long-context understanding) 작업에 대한 실험 결과는 MC가 순환 모델의 성능을 향상시켜 그 효과를 뒷받침함을 보여줍니다. 문맥 내 회상(in-context recall) 작업의 결과는 트랜스포머가 최고의 정확도를 달성하는 반면, 제안된 MC 변형들은 경쟁력 있는 성능을 보여 트랜스포머와의 격차를 좁히고 최첨단(state-of-the-art) 순환 모델보다 더 나은 성능을 발휘함을 나타냅니다.