선형 학습률 워밍업
학습 초기에 학습률을 점진적으로 증가시키는 기법으로, 초기 큰 업데이트가 가중치 초기화 분포 밖으로 모델을 밀어내는 현상을 방지한다. 이 글에서는 첫 수백 스텝에서의 불안정한 거동을 완화해 손실이 급등하는 것을 막는 역할 때문에 아키텍처별 최적화 적합성 차이를 줄이는 핵심 수단으로 사용되었다.