키 노름
어텐션에서 각 키 벡터의 유클리드 크기를 의미하며 유사도 점수와 표준화 과정에 영향을 줄 수 있는 스칼라 특성이다. 점곱 기반 어텐션은 키 노름 항을 암묵적으로 무시하면 노름 차이를 감지하지 못하는 'norm-blind' 거리로 동작하게 되고, 이때 노름은 라우팅의 비공식적 신호로 기능할 수 있다. 본문은 키 노름의 분포가 라우팅 집중과 표현 저차원화의 중요한 원인임을 실험적으로 보여준다.
