모든 라우터는 표현 붕괴로 이어진다: 키 노름 맹시성과 어텐션 집중의 통일적 관찰

게시물과 논문 초록에 대한 반응은 주로 기술적 호기심과 검증 요청으로 수렴했다. 많은 댓글이 다양한 아키텍처별 재현 사례와 코드 실행 결과를 공유하여 원문 실험의 견고성을 확인하려는 경향을 보였고 일부는 RoPE나 시간 감쇠 같은 위치적 제동의 역할에 대해 추가 수치적 비교를 요구했다. 전반적으로 비판적이나 건설적인 논의가 활발했고 원문이 제공한 코드·데이터 링크로 재현 실험이 빠르게 진행될 가능성이 높다는 반응이 다수였다.

• 유사도 기반 라우터를 설계할 때 키 노름 분포를 모니터링하고 필요하면 노름을 표준화하거나 키 노름이 학습 신호로 기능하지 않도록 제어 변수를 도입할 것을 권고한다.
• 트랜스포머 계열에서는 RoPE 같은 위치 인코딩의 제동 특성이 집중 onset에 직접적 영향을 주므로 위치 인코딩 방식과 강도를 조절해 집중 행동을 실험적으로 튜닝할 것을 권장한다.
• 재현 가능한 인과적 검증을 위해 논문이 제공한 코드·데이터를 사용해 Δ 고정 같은 내적 변수 조작 실험을 수행하면 집중 완화 효과를 정량적으로 확인할 수 있다.

Softmax attention

— 쿼리와 키의 점곱을 소프트맥스로 정규화해 각 입력 토큰에 가중합을 수행하는 메커니즘이다. 쿼리-키 거리의 지수화된 음수에 비례하는 확률 분포로 볼 수 있으며, 키 노름이 균일할 때 유클리드 거리 기반의 최대 엔트로피 가중치와 동등한 표현을 얻는다. 본문 맥락에서는 키 노름 비균일성이 소프트맥스의 동작을 왜곡해 라우팅 집중과 표현 붕괴를 유발하는 핵심 조건으로 다뤄진다.

Content-based routing

— 입력의 내용(예: 쿼리-키 유사도)에 따라 정보 흐름을 특정 위치나 서브모듈로 집중시키는 경로 선택 방식이다. 라우터는 유사도 점수로 위치별 가중치를 계산하고 높은 가중치를 받은 위치로 정보가 집중된다. 본문은 이 라우팅이 평면적이고 노름을 구별하지 못하는 유사도 측도로 작동할 때 발생하는 집중과 저차원 붕괴를 핵심 문제로 지목한다.

Norm stratification

— 키 벡터들의 크기 분포가 계층적으로 분화되어 일부 위치가 더 큰 노름을 가지는 현상이다. 라우터가 키 크기를 직접 참조하지 못하면 모델은 규모 차이를 보정하려고 키 노름을 통해 비공식적 신호를 만들고, 그 결과 특정 위치로 과도하게 집중하게 된다. 본문에서는 이 현상이 어텐션·GAT·시퀀스 라우터 전반에서 관찰되는 공통적 보상 메커니즘으로 분석된다.

RoPE

— 토큰 위치 정보를 쿼리와 키의 각 차원에 주기적 회전을 적용해 인코딩하는 방식으로, 상대적·절대적 위치 정보를 효율적으로 반영한다. RoPE는 위치에 따른 점수에 비선형·비단조적 제동 효과를 주어 라우팅의 onset(집중 시작 깊이)에 영향력을 행사한다. 본문은 RoPE가 갖는 약한 제동 특성 때문에 트랜스포머 계열에서 집중이 비교적 이르게 나타난다고 보고한다.

Key norm

— 어텐션에서 각 키 벡터의 유클리드 크기를 의미하며 유사도 점수와 표준화 과정에 영향을 줄 수 있는 스칼라 특성이다. 점곱 기반 어텐션은 키 노름 항을 암묵적으로 무시하면 노름 차이를 감지하지 못하는 'norm-blind' 거리로 동작하게 되고, 이때 노름은 라우팅의 비공식적 신호로 기능할 수 있다. 본문은 키 노름의 분포가 라우팅 집중과 표현 저차원화의 중요한 원인임을 실험적으로 보여준다.