Cosine Decay Schedule
Cosine Decay Schedule
Cosine Decay Schedule은 최적화 초기에 perturbation 규모를 크게 두고 업데이트가 진행될수록 cosine 함수에 따라 줄이는 일정입니다. 큰 σ는 넓은 탐색과 regularization을 제공하고 작은 σ는 현재 작업 주변의 세밀한 적응을 가능하게 하므로, 탐색과 적응 사이의 균형을 조절합니다.
Cosine Decay Schedule
Cosine Decay Schedule은 최적화 초기에 perturbation 규모를 크게 두고 업데이트가 진행될수록 cosine 함수에 따라 줄이는 일정입니다. 큰 σ는 넓은 탐색과 regularization을 제공하고 작은 σ는 현재 작업 주변의 세밀한 적응을 가능하게 하므로, 탐색과 적응 사이의 균형을 조절합니다.
