옵티마이저에서 모멘텀을 도입하는 두 수식의 직관 차이

작성자는 신경망 옵티마이저에서 모멘텀을 도입하는 두 수식 — 이전 업데이트를 직접 보존하는 고전적 momentum 업데이트와 그래디언트의 지수 이동 평균(EMA)을 계산하는 방식 — 사이의 직관적 차이를 묻고 있다. 첫 번째 수식은 이전 업데이트(prev_updates)를 그대로 보존해 현재 업데이트를 보강하므로 기울기가 일시적으로 0이 되어도 관성이 이어지는 형태이고, 두 번째 수식은 그래디언트 자체의 EMA를 갱신해 내부 상태를 0에서 점진적으로 적응시키는 방식으로 Adam의 1차 모멘트 추정에 사용된다. 본문에는 두 수식만 제시되어 추가적인 벤치마크나 코드 재현은 없으며, 따라서 이 글은 직관적 해석을 묻는 질문형 게시물로 심층적인 실험적 통찰이나 실용적 결론은 제공되지 않는다.