RMSNorm의 기하학적 분석: '방향성 붕괴(Directional Collapse)'라는 숨겨진 실패 모드

수학적 분석과 시각화 자료에 대해 매우 긍정적인 반응이며, RMSNorm의 효율성 이면에 숨겨진 위험성을 이해하는 데 큰 도움이 되었다는 평가가 지배적이다.

• 모델 학습 중 손실(Loss) 스파이크가 발생할 때 RMSNorm의 방향성 붕괴 여부를 점검해야 한다.
• 데이터의 평균 편향이 심한 도메인에서는 RMSNorm 대신 표준 LayerNorm 사용을 고려할 필요가 있다.

• RMSNorm의 실패 모드는 신호의 진폭 유지가 아니라 토큰 간 변별력(Discriminability)의 상실에 있다.

• RMSNorm은 평균 중심화 과정을 생략하여 계산 효율을 높이지만, 평균 편향(Mean Shift)이 발생하는 상황에서 취약하다.
• 평균이 분산보다 커지면 토큰들이 하이퍼스피어 상의 특정 극점으로 몰리는 '방향성 붕괴'가 발생하여 데이터의 개별 특성이 사라진다.
• 이 현상은 단순한 오차가 아니라 어텐션 메커니즘이 필요로 하는 토큰 간 변별력을 파괴하여 모델의 표현력을 근본적으로 손상시킨다.