본문으로 건너뛰기

rms-norm

평균 제곱근 정규화

중급

각 토큰 벡터의 평균 제곱근(Root Mean Square)을 이용하여 데이터의 스케일을 조정하는 정규화 기법이다. 학습 중 수치적 불안정성을 억제하고 수렴 속도를 향상시키는 데 기여한다.