lr-decay

LR decay는 학습이 진행될수록 optimizer의 learning rate를 일정한 규칙에 따라 낮추는 과정이다. 이 글에서는 해당 단계를 직접 수행하는 대신 WSM 기반 체크포인트 병합으로 대체해 continual pre-training 실험의 유연성을 높인다.