적응형 최적화 도구
학습 과정에서 매개변수마다 학습률을 다르게 조절하는 알고리즘이다. 본문에서는 가중치 업데이트를 일부 생략하여 성능 저하 없이 연산량을 줄이는 연구 사례로 소개된다.
엔비디아, 오픈AI에 300억 달러 투자? AWS AI가 일으킨 대규모 장애의 전말