노름 계층화
키 벡터들의 크기 분포가 계층적으로 분화되어 일부 위치가 더 큰 노름을 가지는 현상이다. 라우터가 키 크기를 직접 참조하지 못하면 모델은 규모 차이를 보정하려고 키 노름을 통해 비공식적 신호를 만들고, 그 결과 특정 위치로 과도하게 집중하게 된다. 본문에서는 이 현상이 어텐션·GAT·시퀀스 라우터 전반에서 관찰되는 공통적 보상 메커니즘으로 분석된다.
