제곱평균제곱근 정규화
평균 중심화 과정을 생략하고 데이터의 제곱평균제곱근(RMS)만을 사용하여 정규화하는 기법이다. 연산 효율이 높아 현대 LLM에서 표준 레이어 정규화 대신 널리 쓰인다.
RMSNorm이 데이터를 망치고 있다? 시각화로 밝혀진 방향성 붕괴의 실체
RMSNorm의 치명적 약점: LLM 성능을 갉아먹는 기하학적 붕괴