Bug or Feature: Weight Drift, Activation Sparsity and Spikes

손실 함수와 활성화 함수의 상호작용으로 가중치 드리프트가 발생하고 이로 인해 활성화가 희소해지며, 트랜스포머 계열에서도 예측 품질과 연산 효율성 간의 트레이드오프를 형성한다. 초기 학습 단계의 dynamics가 모델 성능에 큰 영향을 미치고, non-centering normalization이 이 현상을 어떻게 강화하는지 규명한다.

출발점은 ReLU 같은 positively biased activation과 일반적인 손실 함수(MSE, cross-entropy) 간의 상호작용이다. Theorem 1.2와 1.3은 초기화 시 양의 pre-activation에 대한 gradient가 기대값에서 비음수가 됨을 보이고, 이로써 downstream 가중치가 음의 방향으로 drift한다. 이 현상은 네트워크 깊이에 걸쳐 확산되며 활성화 패턴은 고정된 layer의 binary gating(Dl) 구조로 인해 V_eff의 열벡터들이 서로 양의 상관을 갖게 된다. 그 결과 pre-activations은 점점 0으로 수렴하려는 쪽으로 이동하고, 활성화가 0에 몰리며 sparse한 중간 표현이 형성된다. 이 sparse 표현은 학습 초기에 확정되며, 정규화 없이도 weight drift가 활성화 희소성을 유도한다. 트랜스포머 계열에서는 attention 경로가 Sparse MLP 출력을 경로를 우회해도 성능을 유지하는 경향이 있어, 희소성의 효과가 모델 전체의 일반화/효율성에 다르게 작용한다. 또한 Sparsity의 양이 커질수록 성능은 plateau를 지나 cliff로 급락하는 경향이 있으며, 이를 다양한 아키텍처와 활성화 함수에서 관찰한다.

이론적 분석은 L=L층의 선형 블록과 ReLU로 구성된 MLP를 대상으로, 각 레이어 l에서 p(l)와 Dl의 구조를 통해 V_eff를 정의한다. [입력 x에 대해] 각 활성 네트워크에서 활성화 패턴은 Di가 1인 경우에만 살아남으므로 V_eff는 활성 뉴런에 의해 결정된다 → 엔트로피가 큰 경우에도 v_i의 내적은 음의 상관을 가질 수 있으나 survival conditioning에 의해 E[v_i^T v_j] ≥ 0이 된다. 패러다임은 Theorem 1.1으로 시작해 Theorem 1.2(MSE) 및 Theorem 1.3(Cross-Entropy)로 확장된다. 실험은 CIFAR-10, ImageNet-1K 기반 실험과 GPT-nano(FineWeb)로 구성되며, Activation function으로 ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU, ReLU2, GELU2, ReLU2 clip15/clip50 등을 평가한다. Top-K sparsity와 Percentile Centering으로 post-activation sparsity를 제어하고, Accumulation Stop으로 EMA statistics를 고정한다.

주요 벤치마크에서 네거티브 weight drift가 관찰되며, 60–80% 구간의 negative pre-activations를 보인다. ResNet은 BN 시 mean-centering으로 drift를 줄일 수 있다. sparsity-accuracy 곡선은 moderate sparsity(s ≤ 0.7)에서 평평하고, 임계치(s ≈ 0.85–0.91 사이)에서 급격한 성능 저하가 나타난다. GPT-nano는 약 91%의 sparsity까지도 비교적 안정적으로 성능을 유지한다. ReLU2는 GPT-nano에서 가장 강력한 sparsity–accuracy trade-off를 보였고 GELU2는 전반적으로 가장 낮은 검증 손실을 기록했다. ReLUfication은 GELU 기반 모델을 1 epoch 미세튜닝으로 ReLU 기반 희소화를 55–74% 달성하면서도 정확도 손실을 거의 유발하지 않았다. Accumulation Stop은 DiT-S/2, MaxViT에서 50k steps의 warm-up 이후 가중치 drift를 안정적으로 유지했고, Throughput은 PyTorch LN 대비 감소 없이 향상 가능성을 시사한다.

A-layer/MLP, ResNet-18, MaxViT-T, DiT-S/2, GPT-nano 등 다수의 아키텍처에서 weight drift의 존재를 확인하고, 활성화 함수별 sparsity–accuracy 트레이드를 분석한다. Theorem 1.1은 ReLU Gate 생존 조건 하에서 V_eff의 행 벡터 간 코릴레이션이 비음수를 보임을 보이고, Theorem 1.2와 1.3은 MSE 및 Cross-Entropy에서 ∂ℓ/∂p(l)_i의 기대값이 비음수임을 보인다. 실험은 CIFAR-10, ImageNet-1K, FineWeb의 GPT-nano를 포함하며, Top-K sparsity와 Percentile Centering으로 제어된 sparsity의 영향, ReLU2/GELU2의 효과, ReLUfication 및 Accumulation Stop의 구현 세부가 Appendix에 자세히 기재되어 있다. AS의 유효성은 1000 스텝 내에서의 drift 안정성으로 확인되며, PyTorch 커널의 최적화에 따라 Throughput 이득은 하드웨어 및 커널 구현에 좌우된다. Appendix G.6 등 Activation Function 구현 세부가 포함된다.

(1) 이론적 결과는 초기화 시 zero-mean i.i.d. 가중치 및 V_eff의 p(l) 독립성 가정에 의존하며, 훈련 중에는 가중치 간 상관 및 비선형화의 오류가 증가한다. (2) Cross-entropy의 확장은 softmax 선형화에 의존하며 차수 O(∥f∥^2) 보정이 필요하다. (3) GPT-nano(124M) 등 소형 데이터셋에서의 일반화 한계가 존재하며, squared activation의 clipping 임계값은 모델별로 다를 수 있다. (4) Accumulation Stop은 고정 크기 입력 아키텍처에서 주로 평가되었고 autoregressive 모델에는 제한적 적용 가능성만 있다. (5) Transformer에 대한 sparsification의 견고성은 설명이 충분하지 않으며 skip-connection이 완전한 해답은 아니다. (6) DiT-S/2의 Percentile LayerNorm 효과는 추가 연구가 필요하다.