방향성 붕괴
데이터 포인트들이 특징 공간 내에서 고르게 분포하지 않고 특정 방향이나 지점으로 쏠려 변별력을 잃는 현상이다. 이 글에서는 RMSNorm 실패 시 토큰들이 대척점으로 쏠리는 현상을 의미한다.