cosine-decay
코사인 감쇠 학습률 스케줄
학습률을 시간에 따라 코사인 함수 형태로 서서히 0으로 줄이는 스케줄링 방법으로, 고정 학습률에서 발생하는 진동을 억제하는 용도로 사용된다. 본문에서는 AdamW/SOAP가 고정 학습률에서 해를 벗어난 채로 진동하는 현상을 코사인 감쇠로 '인위적으로' 해결한다고 지적한다. 코사인 감쇠는 도달 여부를 측정한 것이 아니라 단순히 스텝을 시간으로 강제로 줄이는 수단으로 평가되었다.
코사인 감쇠 학습률 스케줄
학습률을 시간에 따라 코사인 함수 형태로 서서히 0으로 줄이는 스케줄링 방법으로, 고정 학습률에서 발생하는 진동을 억제하는 용도로 사용된다. 본문에서는 AdamW/SOAP가 고정 학습률에서 해를 벗어난 채로 진동하는 현상을 코사인 감쇠로 '인위적으로' 해결한다고 지적한다. 코사인 감쇠는 도달 여부를 측정한 것이 아니라 단순히 스텝을 시간으로 강제로 줄이는 수단으로 평가되었다.
