Gated Delta Net에서 Q/K 투영 제거를 통한 성능 향상 및 파라미터 절감 연구

작성자의 실험 결과에 대해 흥미롭다는 반응이 많으며, 특히 선형 어텐션과 트랜스포머의 차이점에 대한 기술적 논의가 이루어지고 있다.

• 선형 어텐션 기반의 경량 모델을 설계할 때 Q/K 투영을 제거하고 시프트 키를 적용하여 파라미터 효율성을 높일 수 있다.
• 모델의 키 공간 활용도를 평가할 때 Effective Rank와 Condition Number 지표를 활용하여 레이어별 저장 효율을 점검하라.

• Gated Delta Net 아키텍처에서 Q/K 투영 행렬을 제거하고 이전 시점의 은닉 상태를 키로 활용하면 파라미터를 최대 25% 절감할 수 있다.
• 시프트 키 기법은 선형 어텐션의 메모리 대칭성 문제를 해결하여 모델이 다음 토큰의 문맥적 연관성을 더 효과적으로 학습하게 한다.
• 이 기법은 Linear Attention에서는 유효하지만 Softmax Attention에서는 성능 저하를 일으켜 두 메커니즘의 근본적인 작동 차이를 보여준다.
• 100M 규모 실험에서 더 적은 파라미터로도 표준 모델보다 낮은 학습 손실과 더 나은 키 공간 활용도를 증명했다.