TL;DR
장문맥을 다루는 실제 응용에서는 키-값 캐시나 full attention이 시퀀스 길이에 따라 메모리와 계산을 기하급수적으로 증가시키는 문제가 있다. SDM은 동일한 FLOPs 제약 하에서 상태(state) 용량을 수천배로 키워 긴 문맥에서의 기억 능력을 개선함으로써 이 한계를 실질적으로 완화했다. 이로 인해 긴 코드베이스나 장기 추론을 요구하는 에이전트 설정에서 더 긴 문맥을 유지하면서도 계산 예산을 일정하게 유지할 수 있다는 실용적 가능성이 열렸다.
왜 중요한가
장문맥을 다루는 실제 응용에서는 키-값 캐시나 full attention이 시퀀스 길이에 따라 메모리와 계산을 기하급수적으로 증가시키는 문제가 있다. SDM은 동일한 FLOPs 제약 하에서 상태(state) 용량을 수천배로 키워 긴 문맥에서의 기억 능력을 개선함으로써 이 한계를 실질적으로 완화했다. 이로 인해 긴 코드베이스나 장기 추론을 요구하는 에이전트 설정에서 더 긴 문맥을 유지하면서도 계산 예산을 일정하게 유지할 수 있다는 실용적 가능성이 열렸다.
핵심 기여
GDN 업데이트 규칙의 슬롯별 희소화로 대규모 상태 유지
논문은 Gated DeltaNet의 델타 업데이트 규칙을 전체 밀집 행렬에 적용하지 않고 명시적 메모리 테이블의 선택된 슬롯에만 적용하는 Sparse Delta Memory를 도입했다. 이 구조는 쓰기와 읽기에서 PKM 기반의 top‑W/top‑R 선택을 사용해 선택된 슬롯들만 감쇠·델타 갱신을 수행함으로써 상태 크기를 수천배로 확장했다. 슬롯 미선택 시에는 해당 슬롯을 변하지 않게 유지하여 불필요한 계산을 피한다.
PKM 기반 읽기/쓰기 인덱싱으로 FLOPs 독립적 상태 확장
SDM은 Product-Key Memory의 외합(top‑k) 인덱싱을 읽기와 쓰기 선택에 적용해 N개의 슬롯 중 W·R 개만 선택하는 방식으로 동작한다. 외합의 top‑k 성질 덕분에 전체 N×N 점수를 전개하지 않고도 O(√N×d + W^2 + R^2) 수준의 계산으로 인덱싱이 가능하여 메모리 크기를 늘려도 토큰 당 FLOPs는 일정하게 유지된다. 이를 통해 동일한 파라미터·FLOPs 조건에서 상태 용량만 키워 성능 향상을 입증했다.
학습 가능한 초기 상태(learned M0)를 통한 파라메트릭 메모리 효과
SDM은 큰 상태를 단순한 빈 슬롯이 아닌 학습 가능한 초기 행렬 M0로 두어 사전학습 중에 메모리 자체에 지식을 저장할 수 있게 했다. 실험에서 SDM의 learned M0는 GDN에 같은 방식으로 적용했을 때보다 더 큰 성능 향상을 보였고, 특히 코드 데이터와 장문맥 평가에서 이점이 컸다. learned M0는 추론 시 추가 FLOPs를 요구하지 않아 실전 배치에서 효율적인 파라메트릭 메모리 역할을 수행한다.
isoFLOP 실험 설계로 상태 용량의 영향 분리 검증
모든 비교에서 SDM과 GDN은 동일한 파라미터 수와 토큰 당 FLOPs를 갖도록 설계되어 있다. 이 설계를 통해 성능 차이가 단순한 계산 예산 차이가 아니라 상태 용량 증가에서 기인함을 분리해서 확인할 수 있었다. 스케일링 실험에서 SDM은 모든 컴퓨트 수준에서 GDN을 상회하며 R²=0.999의 예측력을 보였다.
광범위한 스케일링·장문맥·어블레이션 실험으로 실효성 검증
논문은 1.4B에서 8B, 예측된 8B(레벨13)까지 스케일링 사다리를 훈련하고 RULER 장문맥 벤치마크와 코드 퍼플렉시티, 다양한 짧은 문맥 추론 태스크를 측정했다. 결과는 SDM이 RULER에서 GDN 대비 큰 폭의 개선을 보였고, 코드 데이터 장문맥에서 토큰 위치 32k–512k 구간에서 퍼플렉시티가 2.0 근처로 떨어지는 등 장문맥 보존이 개선되었음을 나타냈다. 또한 어블레이션으로 learned M0와 메모리 크기 영향을 분리하여 상태 크기가 주된 성능 요인임을 확인했다.
핵심 아이디어 이해하기
Transformer의 softmax attention은 키-값 캐시를 통해 과거 토큰을 직접 저장하고 쿼리와 비교하여 읽어오기 때문에 시퀀스 길이 L에 비례해 KV 캐시와 토큰당 계산·메모리가 증가한다. 이로 인해 수십만 토큰 단위의 긴 문맥을 처리할 때 메모리·FLOPs가 비현실적으로 커지는 한계가 발생한다. 반면 선형 어텐션 및 선형 RNN 계열은 고정 크기 상태 벡터에 정보를 압축해 토큰당 계산량을 일정하게 유지한다.
방법론
SDM의 핵심 아이디어는 Gated DeltaNet의 델타 업데이트 규칙을 희소화하는 것이다. 구체적으로 SDM은 N개의 슬롯으로 이뤄진 명시적 메모리 테이블을 유지하고, 각 타임스텝마다 PKM 스타일의 외합 점수에서 top‑W(top write)와 top‑R(top read)를 선택해 선택된 슬롯에만 감쇠(α)와 델타(β⋅k⋅(v−M)) 갱신을 수행한다. 읽기는 선택된 R 슬롯의 가중합으로 이루어지며, 출력은 RMS‑Norm과 원소별 게이팅(g)으로 정규화·조정된 후 헤드 혼합 Wo로 결합된다.
주요 결과
스케일링 실험에서 SDM은 isoFLOP 조건으로 GDN과 비교했을 때 모든 컴퓨트 레벨에서 낮은 학습 손실을 기록했고 스케일링 법칙 회귀의 상관계수는 R²=0.999로 매우 높게 나타났다. RULER 장문맥 평가에서는 예를 들어 1.4B 규모에서 SDM이 평균 정확도 31.2를 기록해 동일 조건의 GDN(20.0)을 크게 상회했고 8B에서도 50.2 대 34.2로 우수한 결과를 냈다. 코드 데이터 장문맥 실험에서는 SDM의 토큰 위치별 퍼플렉시티가 긴 문맥에서 2.0 근처로 안정되며 Mamba2·GDN보다 꾸준히 낮게 나타났다.
관련 Figure
그래프는 동일한 파라미터·FLOPs 조건에서 SDM이 GDN보다 낮은 훈련 손실을 지속적으로 달성함을 보여준다. 회귀로 얻은 지수 계수와 R² 값이 범례에 표기되어 SDM의 예측 가능한 스케일링 특성이 강조된다. 레벨별 손실 점들이 isoFLOP 비교를 통해 상태 용량 증가가 성능 개선의 주요 원인임을 뒷받침한다.
총 FLOPs 대비 학습 손실(평균 마지막 10개 로그)을 나타낸 스케일링 법칙 그래프이다.
그래프는 SDM이 긴 토큰 위치 구간에서 퍼플렉시티가 지속적으로 낮아지는 경향을 나타내며 특히 32k–512k 구간에서 성능 우위를 보인다. 실선은 장문맥 파인튜닝 결과, 점선은 사전학습 상태를 나타내며 learned M0의 효과와 장문맥에서의 이득을 시각적으로 확인할 수 있다. 이 결과는 SDM의 큰 상태가 긴 문맥 유지에 효과적임을 뒷받침한다.
토큰 위치별 퍼플렉시티를 보여주는 그래프로서 모델별 장문맥 동작을 비교한 결과이다.
그래프는 SDM에서 learned M0를 도입했을 때 퍼플렉시티가 일관되게 낮아지는 반면 GDN에서는 유의미한 개선이 관찰되지 않음을 나타낸다. 이로써 큰 상태를 학습 가능한 초기 행렬로 두는 것이 SDM 성능 향상에 기여함이 실험적으로 확인되었다. 특히 장문맥 구간에서 learned M0의 이득이 더 뚜렷하게 나타난다.
learned M0 유무에 따른 모델별 퍼플렉시티 비교 그래프로서 초기 상태 학습의 영향을 보여준다.
기술 상세
아키텍처 관점에서 SDM은 기존 GDN 블록의 일부 연산을 희소화하여 동작한다. 입력 x는 Wk, Wq, Wv 등의 선형 투영을 거쳐 PKM 형식의 쿼리·키 쌍으로 변환되고, 각 투영 벡터는 두 부분으로 분할되어 외합을 만들며 top‑W/top‑R로 선택된 슬롯만 갱신·읽기된다. SDM은 실험에서 d_qk^{GDN}=64, d_v^{GDN}=128, W=R=64 설정을 기본값으로 사용했고 슬롯 수 N은 (d/4H)^2 형태로 설정하여 헤드 수 H로 상태 크기를 제어했다.
관련 Figure
플롯은 쓰기 분포가 비교적 뾰족하여 k=64 설정에서 상위 32개의 키가 약 85%의 확률 질량을 차지함을 나타낸다. 이는 쓰기 연산이 상대적으로 소수의 슬롯에 집중된다는 점을 계량적으로 보여주며 메모리 활용의 희소성을 정량화한다. 밴드 표시는 토큰 간 변동성 범위를 제시하여 계층·헤드 전반의 행동을 요약한다.
쓰기 키의 상위 m 슬롯이 누적하는 확률 질량(cumulative mass)을 보여주는 곡선 플롯이다.
이 플롯은 읽기 분포가 쓰기보다 더 균일하며 k=128 설정에서도 상위 64키가 약 77%의 질량을 차지하는 것으로 나타났다. 읽기·쓰기 예산 변화에 따라 분포 형태가 상호 보상적으로 적응하는 동작이 시각적으로 확인된다. 이 결과는 SDM이 읽기 선택과 쓰기 분산을 상황에 맞게 자동 조정함을 지지한다.
읽기 키의 상위 m 슬롯이 누적하는 확률 질량을 보여주는 곡선으로 읽기 분포의 포괄성을 나타낸다.
바이올린 플롯은 다수의 실행에 대한 토큰 수준 활용도를 분포 형태로 보여주며 평균·중앙값을 함께 제시해 전반적 경향을 파악하게 한다. 쓰기 쪽은 설정에 따라 활용도가 변화하며 이는 쓰기 예산이 제한되면 모델이 더 균일하게 쓰기를 분산시키는 적응 행동을 반영한다. 분포의 폭은 토큰 간 변이성과 모델 설정 민감도를 함께 전달한다.
쓰기 키의 효율적 키 수(eff_keys/k)를 다양한 설정에서 바이올린 플롯으로 요약한 그림이다.
읽기 플롯은 전반적으로 높은 활용도(더 균일한 분포)를 보이며 이는 읽기가 여러 슬롯에 걸쳐 정보를 수집하는 특성을 반영한다. 설정별 평균값과 중앙값 위치는 읽기·쓰기 예산 상호작용에 따른 읽기 선택의 민감도를 보여준다. 이 분석은 SDM의 접근 패턴이 읽기·쓰기 예산에 따라 동적으로 조절됨을 실증적으로 뒷받침한다.
읽기 키의 eff_keys/k에 대한 바이올린 플롯으로 읽기 측면의 활용도를 요약한 그림이다.
한계점
논문 자체가 지적한 주된 한계는 현재 SDM 커널의 메모리 접근 효율(MFU)이 최적화된 GDN에 비해 낮아 실제 처리량이 떨어진다는 점이다. 대규모 상태는 HBM에서 관리되어 SRAM에 들어가는 GDN 대비 대역폭 제약으로 인해 훈련·추론 속도가 느려지는 현실적 제약을 유발한다. 또한 SDM 상태는 모델 파라미터와 유사한 크기의 메모리를 요구할 수 있어 자원 제약이 심한 환경에서는 적용이 어렵다.
실무 활용
SDM은 동일한 FLOPs 예산에서 큰 상태 용량을 제공하므로 긴 대화 이력 유지, 코드베이스 전체 이해, 및 장기 추론을 요구하는 에이전트 애플리케이션에 적용 가능성이 높다. 학습 가능한 초기 상태 M0를 통해 사전학습 지식을 메모리에 내장하면 짧은 컨텍스트의 추론 성능도 개선되는 이점이 있다. 다만 현재 구현에서는 메모리 접근 효율(MFU)이 낮아 커널 최적화가 필요하다.
- 장기 대화 이력을 요구하는 대화형 에이전트에서 수백만 토큰의 맥락을 유지하면서 토큰당 계산량을 일정하게 유지하는 백엔드로 사용 가능하다.
- 대규모 코드베이스 전체를 문맥으로 하는 코드 이해·자동완성·리팩터링 도구에 적용해 문맥 외삽 성능을 개선할 수 있다.
- 장영상 처리나 연속적 센서 스트림을 다루는 비전·로보틱스 파이프라인에서 장기 기억을 필요로 하는 모듈로 활용할 수 있다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Linear Attention
- — 선형 어텐션은 키와 쿼리에 대한 특징 매핑을 통해 외적을 누적하는 방식으로 메모리를 유지하여 시퀀스 길이에 관계없이 토큰 당 계산량을 일정하게 유지하는 방법이다. 이 방식은 메모리와 FLOPs가 입력 길이에 대해 선형으로 증가하는 softmax 어텐션과 달리 고정된 상태 벡터로 긴 문맥을 처리할 수 있다. 본 논문에서는 선형 어텐션 구조의 상태 크기 한계를 극복하는 것이 핵심 목표이다.
- Product-Key Memory
- — Product-Key Memory는 두 개의 저차원 점수 벡터의 외합(outer-sum)으로 대규모 메모리 인덱스에 대한 점수를 생성하고 top-k 연산만으로 희소 인덱싱을 수행하여 전체 슬롯을 물리화하지 않고도 큰 메모리를 효율적으로 접근하는 기법이다. 외합의 top-k 성질을 이용하면 계산 복잡도를 √N×d + k^2 수준으로 줄일 수 있다. SDM은 이 인덱싱 스킴을 읽기/쓰기 선택에 적용한다.
- Gated DeltaNet
- — Gated DeltaNet은 쓰기 전 기존 연관값을 회수하여 차분(delta)만 갱신하는 규칙과 시간 감쇠(forget) 게이트를 도입해 메모리 간섭을 억제하고 상태 정규화를 유지하는 선형 RNN 계열의 구조이다. 각 타임스텝에서 상태는 감쇠와 입력 게이트로 제어되는 델타 업데이트를 받아 갱신된다. SDM은 이 GDN의 업데이트 규칙을 슬롯별 희소 갱신으로 확장했다.
- isoFLOP
- — isoFLOP 설계는 비교 대상 모델들과 동일한 FLOPs 예산과 동일한 수의 파라미터를 유지하도록 구조를 설계하여 성능 차이가 계산 예산이 아닌 모델 구조적 차이(예: 상태 용량)에서 비롯되는지를 고립해서 평가하는 실험 설정이다. 본 논문은 SDM과 GDN을 isoFLOP 조건으로 비교하였다. 이로써 메모리 용량 증가가 성능 개선의 주 원인임이 확인되었다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
