warmup-steps
학습 초기 단계에서 학습률을 0 또는 매우 작은 값에서 목표치까지 서서히 높이는 구간이다. 이는 초기 가중치의 불안정성으로 인해 학습이 발산하는 것을 방지한다.
LR만 조절하는 시대는 끝났다, PyTorch를 위한 범용 스케줄링 라이브러리