왜 중요한가
Linear attention의 고정 크기 기억은 긴 컨텍스트의 연관성 유지에 한계가 있으며, 토큰 간의 간섭이 증가하면 성능이 저하된다. Delta-rule 기반 메모리 업데이트에서 erase와 write가 스칼라 게이트로 묶여 있어 두 작업이 서로 충돌하는 문제가 존재한다. Gated DeltaNet-2는 erase 게이트(b_t)와 write 게이트(w_t)를 채널별로 분리해 기억을 선택적으로 지우고 선택적으로 쓸 수 있게 한다. 이로써 KDA와 Gated DeltaNet의 특성을 모두 포함하는 일반화 모델이 되며, 1.3B 파라미터 모델이 100B 토큰 규모의 FineWeb-Edu 데이터에서 기존 방법들보다 더 나은 전반적 성능을 달성한다.
핵심 기여
Decoupled erase and write in delta-rule memory
erase gate b_t와 write gate w_t를 채널 단위로 분리하고, S_t 업데이트를 S_t = (I - k_t e_t^⊤) D_t S_{t-1} + k_t z_t^⊤ 형태로 구성한다. 여기서 e_t = b_t ⊙ k_t, z_t = w_t ⊙ v_t 이다. 이 분리는 erase가 키 축에서 좌표를 지우고 write가 값 축에서 좌표를 커밋하는 두 역할을 독립적으로 제어하게 한다.
Special-case recoveries and generalization
Eq. 10의 Gated Delta Rule-2는 b_t = β_t 1_dk, w_t = β_t 1_dv로 설정되면 KDA를 재현하고, α_t = α_t 1_dk로 설정되면 Gated DeltaNet를 재현한다. 즉 scalar-gated 업데이트의 특정 하위공간으로의 회귀를 통해 기존 방법들을 일반화한다.
Fast-weight update view and chunkwise WY
Gated Delta Rule-2를 fast-weight memory 업데이트 관점으로 해석하고, 채널 감쇠를 비대칭 erase 계수에 흡수한 채로 WY(Weight-Y) 방식의 칵크(chunk) 기반 업데이트를 구현한다. 이를 통해 고정된 상태에서 긴 시퀀스를 효과적으로 처리하면서도 병렬 학습이 가능하다.
Gate-aware backward pass
게이트 인지 역전파를 통해 dA, dZ, dE¯, dK¯ 등의 경로를 함께 계산한다. erase와 write 게이트가 서로 다른 diagonal 게이트를 갖기 때문에, 각 게이트를 곱하는 부분을 역전파에서도 반영해야 한다. 이로써 학습 시 경사 전파가 정확하고 병렬화된 학습이 유지된다.
Empirical frontiers and efficiency
1.3B 파라미터, 100B 토큰의 FineWeb-Edu 데이터로 학습한 모델이 recurrent와 hybrid 설정에서 벤치마크를 비교해 가장 우수한 평균 성능을 보이고, 긴 컨텍스트에서의 기억 편향 억제와 멀티키 검색의 증가된 분리 능력이 두드러진다. H100에서의 Throughput은 시퀀스 길이에 관계없이 거의 평평하게 유지되며, 약간의 게이트 비용으로도 실용적 효율을 유지한다.
핵심 아이디어 이해하기
시퀀스의 각 위치 t에서 쿼리 q_t, 키 k_t, 값 v_t를 사용한 선형 어텐션의 상태 S_t는 고정 크기이며, 과거의 모든 외적 합으로 기억이 축적된다. DeltaNet는 현재 읽은 내용과 기억을 비교해 필요한 부분만 수정하는 방식으로 업데이트를 수행하지만, 이 과정에서 erase와 write를 하나의 스칼라 게이트로 묶어 두 작업이 서로 다른 축에서 동작해야 하는 요구를 무시한다. Gated DeltaNet-2는 erase를 키 축에, write를 값 축에 각각 적용되는 채널-별 게이트 b_t, w_t를 도입해 두 작업의 요구를 독립적으로 처리한다.
방법론
단계 1: Delta-rule 기반 기억 업데이트를 확장해 erase와 write를 채널별 게이트로 분리한다. 입력으로는 q_t, k_t, v_t, 그리고 게이트 프로젝션으로부터 얻은 b_t, w_t를 받는다. 단계 2: decay를 채널별로 흡수해 S¯_t를 얻고, S_t = S¯_t + k_t (z_t - S¯_t^⊤ e_t)⊤ 형태로 업데이트한다. 여기서 e_t = b_t ⊙ k_t, z_t = w_t ⊙ v_t 이다. 단계 3: 동일한 WY(pseudo-WY) 구조로 칵크 단위의 연산으로 확장하고, E¯ = γ ⊙ (B ⊙ K), Z = W ⊙ V, T = tril(E¯K¯^⊤, -1)로부터 A = (I+T)^{-1}를 구해 U = AZ, Y = AE¯를 얻는다. 단계 4: 출력 o_t = S_t^⊤ q_t를 얻고, gate-aware backward를 통해 dA, dQ_γ, dK_tail, dY, dU 등과 게이트(dB, dW, dγ) 값을 업데이트한다.
주요 결과
주요 결과: 1.3B 파라미터의 모델이 100B 토큰으로 학습되었으며, Gated DeltaNet-2는 recurrent 및 hybrid 설정 모두에서 동일 계열의 벤치마크에서 최상위 평균 성능을 달성한다. 긴 컨텍스트에서의 기억 간섭 제어와 다중 키 검색의 구분 능력이 두드러진다. RULER의 S-NIAH-2, MK-NIAH에서 memory editing이 중요한 경우 강한 우위를 보였고, real-world retrieval에서도 회복력 있는 성능을 달성한다. Throughput은 H100에서 시퀀스 길이가 증가해도 거의 하락 없이 38.0K tokens/s에서 36.1K tokens/s로 유지되는 경향을 보인다. Gate 구조 ablation에서 b_t와 w_t 모두 채널 구조를 유지하는 것이 전체 성능에 더 기여하며, erase_range를 확장하는 것은 일관된 이득을 주지 않았다.
기술 상세
아키텍처 구성은 Gated Delta Net-2 토큰 믹서를 사용한다. q_t, k_t, v_t는 선형 투영, 짧은 causal convolution, 그리고 L2 정규화를 거쳐 생성된다. q_t, k_t, b_t, w_t의 게이트는 각각 독립적인 프로젝션으로부터 시그모이드 활성화 후 얻는다. g_t의 로그-감쇠는 𝑔_t = − exp(a) ⊙ softplus(W_f x_t + δ) 형태로 계산되며 fp32로 계산한 뒤 커널에서 사용한다. Decay-정규화된 recurrence는 Ŝ_r와 같은 형태로 구현되며, K¯, E¯, Z, Y를 정의하고 WY 역사를 공유한다.chunk 크기는 C=64로 고정되며, A = (I+T)^{-1}를 빠르게 계산하기 위해 forward-substitution으로 WY 보조 행렬 Y, U를 구성한다. 파라미터 수, 메모리 크기, 그리고 상태 크기는 1.3B 파라미터/100B 토큰 학습 설정에서 262,144 per-layer recurrent state로 고정되며, MLP와 SWA를 통한 하이브리드 구성도 제시된다. 역전파는 gate-aware 누적(dA, dU, dY, dE¯, dK¯ 등)을 포함하며, 게이트 요소(B, W, K, V, γ)의 그래디언트 흐름을 모든 경로에 반영한다. 구현상 TY, UT 변환, Triton 커널, 그리고 정확도/수치 안정성을 위한 FP16/BF16 호환성도 다룬다.
실무 활용
긴 맥락의 언어 모델링 및 실세계 검색/삽입 기반 대화에서 메모리 편집의 제어력을 높이고, 고정 상태 메모리의 간섭을 줄이는 것이 가능하다.
- 긴 컨텍스트를 다루는 언어 모델의 기억 관리 강화
- 실세계 문서에서의 정보를 기억-회상(memory recall) 정확도 향상
- fixed-state memory를 활용한 RULER 계열의 니들-인-헤이스트 태스크에서의 성능 안정성 강화
- Hybrid 모델에서의 Sliding-Window Attention와의 결합으로 지역/ глоб적 상호작용의 균형 개선
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- 델타 규칙(Delta Rule)
- — 델타 규칙은 현재 읽은 키의 콘텐츠를 먼저 읽은 뒤, 그것을 S_t에서 빼고 새로 쓸 값으로 보정하는 방식으로 메모리 상태를 갱신하는 방법이다. 이 방식은 기억의 특정 연관관계에 대해 선택적으로 overwrite를 수행하는 효과를 가지며, 채널별 제어와 함께 기억 간섭을 줄이는 기제로 작동한다.
- 패스트-가중치 메모리(Fast-Weight Memory)
- — 빠르게 업데이트되는 외연적 기억으로, 각 토큰에서 읽은 값을 기준으로 상태를 즉시 수정하는 기억 체계이다. 이 메모리는 online 학습 시 매 token마다 상태를 보정하는 방식으로 동작하며, delta-rule 업데이트와 결합하여 긴 컨텍스트에서도 효과적으로 기억을 관리한다.
- Kimi Delta Attention
- — KDA는 키 차원에서 채널 단위의 decay를 도입해 기억의 소멸을 채널별로 제어한다. delta-rule 기반 업데이트와 결합해 제거할 좌표와 쓸 좌표를 분리하기 전의 선행 단계를 제공한다.
- 채널별 감쇠(channel-wise decay)
- — 채널 단위로 각 키 채널의 감쇠 계수를 학습하는 기법으로, 각 채널이 다른 속도로 오래 기억되도록 제어한다. 이를 통해 긴 컨텍스트에서의 간섭을 줄이고 중요한 채널을 우선 보존한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
