learning-rate-scheduling

모델 학습 과정에서 학습률을 고정하지 않고 시간에 따라 동적으로 변화시키는 기법이다. 초기에는 큰 보폭으로 전역 최적점을 찾고 후반에는 보폭을 줄여 정밀하게 수렴하게 함으로써 학습 효율과 최종 성능을 극대화한다.