bias-correction

Adam과 같은 적응형 최적화 도구에서 학습 초기 단계의 모멘텀 추정치가 0으로 편향되는 현상을 보정하는 기법이다. 이 연구에서는 진화된 최적화 도구가 오히려 이 기능을 비활성화했을 때 더 높은 성능을 보였다는 점이 특징이다.