router-noise

초기 학습에서 Router Logit에 Gaussian Noise를 더해 특정 Expert로 선택이 고착되는 현상을 늦추는 기법입니다. Noise 크기를 Cosine Schedule로 점차 낮추므로 초기에는 Expert 탐색을 넓히고 이후에는 형성된 Routing 패턴을 안정적으로 유지합니다.