mup

모델의 크기(너비)가 변하더라도 최적의 하이퍼파라미터가 일정하게 유지되도록 가중치 초기화와 학습률을 스케일링하는 기법이다.