warmup-steps

학습 초기 단계에서 학습률을 0 또는 매우 작은 값에서 목표치까지 서서히 높이는 구간이다. 이는 초기 가중치의 불안정성으로 인해 학습이 발산하는 것을 방지한다.