Trapezoidal Learning-Rate Schedule
사다리꼴 학습률 스케줄
초기 warmup 뒤 일정한 최고 학습률을 유지하고, 학습 후반부에 선형으로 낮추는 일정입니다. cosine decay처럼 후반부 대부분을 지나치게 낮은 학습률로 보내지 않아 마지막 단계까지 손실을 줄이는 데 초점을 둡니다.
사다리꼴 학습률 스케줄
초기 warmup 뒤 일정한 최고 학습률을 유지하고, 학습 후반부에 선형으로 낮추는 일정입니다. cosine decay처럼 후반부 대부분을 지나치게 낮은 학습률로 보내지 않아 마지막 단계까지 손실을 줄이는 데 초점을 둡니다.
