평균 편향
데이터의 평균값이 0에서 벗어나 특정 방향으로 치우치는 현상이다. RMSNorm은 이를 명시적으로 보정하지 않기 때문에 모델의 수치적 불안정성을 유발할 수 있다.
RMSNorm이 데이터를 망치고 있다? 시각화로 밝혀진 방향성 붕괴의 실체