learned-optimizer

인간이 설계한 Adam과 같은 고정된 수식 대신, 신경망을 통해 최적화 알고리즘 자체를 학습시킨 모델이다. 다른 모델(Optimizee)의 그래디언트와 모멘텀을 입력받아 최적의 가중치 업데이트 값을 출력하며, 이론적으로는 데이터에 특화된 더 빠른 수렴 속도를 제공할 수 있다.