방향성 붕괴
데이터 포인트들이 특징 공간 내에서 고르게 분포하지 않고 특정 방향이나 지점으로 쏠려 변별력을 잃는 현상이다. 이 글에서는 RMSNorm 실패 시 토큰들이 대척점으로 쏠리는 현상을 의미한다.
RMSNorm이 데이터를 망치고 있다? 시각화로 밝혀진 방향성 붕괴의 실체
RMSNorm의 치명적 약점: LLM 성능을 갉아먹는 기하학적 붕괴