Maximal Update Parameterization

모델 폭이 커져도 파라미터 업데이트의 크기가 일관되도록 초기화와 학습률을 조정하는 방법입니다. 작은 Proxy 모델에서 찾은 최적 학습률을 더 큰 모델로 옮길 수 있게 만듭니다. 이 논문에서는 MoE의 폭과 Expert 수를 함께 확장하는 데 사용합니다.