NormSiLU
NormSiLU는 SiLU 활성화 앞에 두 단계 정규화를 적용하는 기법으로, inter-expert mean normalization과 intra-expert RMS normalization을 통해 활성화 분포를 안정화하고 routed-expert activation ratio를 조절한다.