Sparse Delta Memory: 희소성으로 선형 RNN의 상태 용량 확장

왜 중요한가

장문맥을 다루는 실제 응용에서는 키-값 캐시나 full attention이 시퀀스 길이에 따라 메모리와 계산을 기하급수적으로 증가시키는 문제가 있다. SDM은 동일한 FLOPs 제약 하에서 상태(state) 용량을 수천배로 키워 긴 문맥에서의 기억 능력을 개선함으로써 이 한계를 실질적으로 완화했다. 이로 인해 긴 코드베이스나 장기 추론을 요구하는 에이전트 설정에서 더 긴 문맥을 유지하면서도 계산 예산을 일정하게 유지할 수 있다는 실용적 가능성이 열렸다.

핵심 기여

GDN 업데이트 규칙의 슬롯별 희소화로 대규모 상태 유지

논문은 Gated DeltaNet의 델타 업데이트 규칙을 전체 밀집 행렬에 적용하지 않고 명시적 메모리 테이블의 선택된 슬롯에만 적용하는 Sparse Delta Memory를 도입했다. 이 구조는 쓰기와 읽기에서 PKM 기반의 top‑W/top‑R 선택을 사용해 선택된 슬롯들만 감쇠·델타 갱신을 수행함으로써 상태 크기를 수천배로 확장했다. 슬롯 미선택 시에는 해당 슬롯을 변하지 않게 유지하여 불필요한 계산을 피한다.

PKM 기반 읽기/쓰기 인덱싱으로 FLOPs 독립적 상태 확장

SDM은 Product-Key Memory의 외합(top‑k) 인덱싱을 읽기와 쓰기 선택에 적용해 N개의 슬롯 중 W·R 개만 선택하는 방식으로 동작한다. 외합의 top‑k 성질 덕분에 전체 N×N 점수를 전개하지 않고도 O(√N×d + W^2 + R^2) 수준의 계산으로 인덱싱이 가능하여 메모리 크기를 늘려도 토큰 당 FLOPs는 일정하게 유지된다. 이를 통해 동일한 파라미터·FLOPs 조건에서 상태 용량만 키워 성능 향상을 입증했다.

학습 가능한 초기 상태(learned M0)를 통한 파라메트릭 메모리 효과

SDM은 큰 상태를 단순한 빈 슬롯이 아닌 학습 가능한 초기 행렬 M0로 두어 사전학습 중에 메모리 자체에 지식을 저장할 수 있게 했다. 실험에서 SDM의 learned M0는 GDN에 같은 방식으로 적용했을 때보다 더 큰 성능 향상을 보였고, 특히 코드 데이터와 장문맥 평가에서 이점이 컸다. learned M0는 추론 시 추가 FLOPs를 요구하지 않아 실전 배치에서 효율적인 파라메트릭 메모리 역할을 수행한다.

isoFLOP 실험 설계로 상태 용량의 영향 분리 검증

모든 비교에서 SDM과 GDN은 동일한 파라미터 수와 토큰 당 FLOPs를 갖도록 설계되어 있다. 이 설계를 통해 성능 차이가 단순한 계산 예산 차이가 아니라 상태 용량 증가에서 기인함을 분리해서 확인할 수 있었다. 스케일링 실험에서 SDM은 모든 컴퓨트 수준에서 GDN을 상회하며 R²=0.999의 예측력을 보였다.

광범위한 스케일링·장문맥·어블레이션 실험으로 실효성 검증

논문은 1.4B에서 8B, 예측된 8B(레벨13)까지 스케일링 사다리를 훈련하고 RULER 장문맥 벤치마크와 코드 퍼플렉시티, 다양한 짧은 문맥 추론 태스크를 측정했다. 결과는 SDM이 RULER에서 GDN 대비 큰 폭의 개선을 보였고, 코드 데이터 장문맥에서 토큰 위치 32k–512k 구간에서 퍼플렉시티가 2.0 근처로 떨어지는 등 장문맥 보존이 개선되었음을 나타냈다. 또한 어블레이션으로 learned M0와 메모리 크기 영향을 분리하여 상태 크기가 주된 성능 요인임을 확인했다.

핵심 아이디어 이해하기

Transformer의 softmax attention은 키-값 캐시를 통해 과거 토큰을 직접 저장하고 쿼리와 비교하여 읽어오기 때문에 시퀀스 길이 L에 비례해 KV 캐시와 토큰당 계산·메모리가 증가한다. 이로 인해 수십만 토큰 단위의 긴 문맥을 처리할 때 메모리·FLOPs가 비현실적으로 커지는 한계가 발생한다. 반면 선형 어텐션 및 선형 RNN 계열은 고정 크기 상태 벡터에 정보를 압축해 토큰당 계산량을 일정하게 유지한다.

방법론

SDM의 핵심 아이디어는 Gated DeltaNet의 델타 업데이트 규칙을 희소화하는 것이다. 구체적으로 SDM은 N개의 슬롯으로 이뤄진 명시적 메모리 테이블을 유지하고, 각 타임스텝마다 PKM 스타일의 외합 점수에서 top‑W(top write)와 top‑R(top read)를 선택해 선택된 슬롯에만 감쇠(α)와 델타(β⋅k⋅(v−M)) 갱신을 수행한다. 읽기는 선택된 R 슬롯의 가중합으로 이루어지며, 출력은 RMS‑Norm과 원소별 게이팅(g)으로 정규화·조정된 후 헤드 혼합 Wo로 결합된다.

주요 결과

스케일링 실험에서 SDM은 isoFLOP 조건으로 GDN과 비교했을 때 모든 컴퓨트 레벨에서 낮은 학습 손실을 기록했고 스케일링 법칙 회귀의 상관계수는 R²=0.999로 매우 높게 나타났다. RULER 장문맥 평가에서는 예를 들어 1.4B 규모에서 SDM이 평균 정확도 31.2를 기록해 동일 조건의 GDN(20.0)을 크게 상회했고 8B에서도 50.2 대 34.2로 우수한 결과를 냈다. 코드 데이터 장문맥 실험에서는 SDM의 토큰 위치별 퍼플렉시티가 긴 문맥에서 2.0 근처로 안정되며 Mamba2·GDN보다 꾸준히 낮게 나타났다.

기술 상세

아키텍처 관점에서 SDM은 기존 GDN 블록의 일부 연산을 희소화하여 동작한다. 입력 x는 Wk, Wq, Wv 등의 선형 투영을 거쳐 PKM 형식의 쿼리·키 쌍으로 변환되고, 각 투영 벡터는 두 부분으로 분할되어 외합을 만들며 top‑W/top‑R로 선택된 슬롯만 갱신·읽기된다. SDM은 실험에서 d_qk^{GDN}=64, d_v^{GDN}=128, W=R=64 설정을 기본값으로 사용했고 슬롯 수 N은 (d/4H)^2 형태로 설정하여 헤드 수 H로 상태 크기를 제어했다.

한계점

논문 자체가 지적한 주된 한계는 현재 SDM 커널의 메모리 접근 효율(MFU)이 최적화된 GDN에 비해 낮아 실제 처리량이 떨어진다는 점이다. 대규모 상태는 HBM에서 관리되어 SRAM에 들어가는 GDN 대비 대역폭 제약으로 인해 훈련·추론 속도가 느려지는 현실적 제약을 유발한다. 또한 SDM 상태는 모델 파라미터와 유사한 크기의 메모리를 요구할 수 있어 자원 제약이 심한 환경에서는 적용이 어렵다.

실무 활용

SDM은 동일한 FLOPs 예산에서 큰 상태 용량을 제공하므로 긴 대화 이력 유지, 코드베이스 전체 이해, 및 장기 추론을 요구하는 에이전트 애플리케이션에 적용 가능성이 높다. 학습 가능한 초기 상태 M0를 통해 사전학습 지식을 메모리에 내장하면 짧은 컨텍스트의 추론 성능도 개선되는 이점이 있다. 다만 현재 구현에서는 메모리 접근 효율(MFU)이 낮아 커널 최적화가 필요하다.

장기 대화 이력을 요구하는 대화형 에이전트에서 수백만 토큰의 맥락을 유지하면서 토큰당 계산량을 일정하게 유지하는 백엔드로 사용 가능하다.
대규모 코드베이스 전체를 문맥으로 하는 코드 이해·자동완성·리팩터링 도구에 적용해 문맥 외삽 성능을 개선할 수 있다.
장영상 처리나 연속적 센서 스트림을 다루는 비전·로보틱스 파이프라인에서 장기 기억을 필요로 하는 모듈로 활용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

linear-attention(선형 어텐션)gated-deltanet(게이티드 델타넷)product-key-memory(PKM, 제품-키 메모리)sparsity(희소성)long-context(장문맥 리콜)isoFLOP(isoFLOP 설계)

용어 해설

선형 어텐션(Linear Attention): — 선형 어텐션은 키와 쿼리에 대한 특징 매핑을 통해 외적을 누적하는 방식으로 메모리를 유지하여 시퀀스 길이에 관계없이 토큰 당 계산량을 일정하게 유지하는 방법이다. 이 방식은 메모리와 FLOPs가 입력 길이에 대해 선형으로 증가하는 softmax 어텐션과 달리 고정된 상태 벡터로 긴 문맥을 처리할 수 있다. 본 논문에서는 선형 어텐션 구조의 상태 크기 한계를 극복하는 것이 핵심 목표이다.
제품-키 메모리(Product-Key Memory): — Product-Key Memory는 두 개의 저차원 점수 벡터의 외합(outer-sum)으로 대규모 메모리 인덱스에 대한 점수를 생성하고 top-k 연산만으로 희소 인덱싱을 수행하여 전체 슬롯을 물리화하지 않고도 큰 메모리를 효율적으로 접근하는 기법이다. 외합의 top-k 성질을 이용하면 계산 복잡도를 √N×d + k^2 수준으로 줄일 수 있다. SDM은 이 인덱싱 스킴을 읽기/쓰기 선택에 적용한다.
게이티드 델타넷(Gated DeltaNet): — Gated DeltaNet은 쓰기 전 기존 연관값을 회수하여 차분(delta)만 갱신하는 규칙과 시간 감쇠(forget) 게이트를 도입해 메모리 간섭을 억제하고 상태 정규화를 유지하는 선형 RNN 계열의 구조이다. 각 타임스텝에서 상태는 감쇠와 입력 게이트로 제어되는 델타 업데이트를 받아 갱신된다. SDM은 이 GDN의 업데이트 규칙을 슬롯별 희소 갱신으로 확장했다.
isoFLOP 설계(isoFLOP): — isoFLOP 설계는 비교 대상 모델들과 동일한 FLOPs 예산과 동일한 수의 파라미터를 유지하도록 구조를 설계하여 성능 차이가 계산 예산이 아닌 모델 구조적 차이(예: 상태 용량)에서 비롯되는지를 고립해서 평가하는 실험 설정이다. 본 논문은 SDM과 GDN을 isoFLOP 조건으로 비교하였다. 이로써 메모리 용량 증가가 성능 개선의 주 원인임이 확인되었다.

Sparse Delta Memory: 희소성으로 선형 RNN의 상태 용량 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

트랜스포머 성능을 높이는 동적 단기 컨볼루션 기법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

트랜스포머 성능을 높이는 동적 단기 컨볼루션 기법