Gated Delta Net에서 Q/K 투영 제거를 통한 성능 향상 및 파라미터 절감 연구

작성자의 실험 결과에 대해 흥미롭다는 반응이 많으며, 특히 선형 어텐션과 트랜스포머의 차이점에 대한 기술적 논의가 이루어지고 있다.

• 선형 어텐션 기반의 경량 모델을 설계할 때 Q/K 투영을 제거하고 시프트 키를 적용하여 파라미터 효율성을 높일 수 있다.
• 모델의 키 공간 활용도를 평가할 때 Effective Rank와 Condition Number 지표를 활용하여 레이어별 저장 효율을 점검하라.

선형 어텐션(Linear Attention)

— 시퀀스 길이에 따라 연산량이 제곱으로 늘어나는 표준 어텐션과 달리, 고정된 크기의 상태(state)를 사용하여 연산 복잡도를 선형으로 줄인 기법이다. 메모리 효율은 높지만 정보 압축 과정에서 손실이 발생하여 회상 능력이 다소 떨어지는 특성이 있다.

게이티드 델타 넷(Gated Delta Net)

— 선형 어텐션의 일종으로, 델타 규칙(Delta Rule)을 기반으로 메모리 업데이트를 수행하고 게이팅 메커니즘을 추가하여 정보의 유지와 삭제를 조절하는 아키텍처이다. RNN처럼 고정된 상태를 유지하면서도 어텐션과 유사한 문맥 파악 능력을 지향한다.

유효 랭크(Effective Rank)

— 행렬 내에서 독립적인 정보가 얼마나 포함되어 있는지를 나타내는 척도로, 여기서는 모델이 얼마나 다양한 키(Key) 정보를 저장하고 있는지를 의미한다. 유효 랭크가 높을수록 모델이 제한된 차원 내에서 더 많은 정보를 효율적으로 구분하여 저장하고 있음을 시사한다.

시프트 키 트릭(Shifted Key Trick)

— 별도의 학습된 투영 행렬 없이 이전 시점의 은닉 상태를 현재 시점의 키로 사용하는 기법이다. 현재 상태와 이전 상태를 직접 연결함으로써 선형 어텐션의 고질적인 문제인 대칭성 이슈를 해결하고 파라미터를 절감한다.