경험적 피셔 행렬
모델의 샘플별 기울기 외적을 평균한 행렬로, Adam 계열의 스케일링 지표로 사용된다. 이 행렬은 분류 손실(Cross-Entropy)에서는 유용하게 작동하지만 회귀 손실에서는 각 샘플의 잔차 제곱으로 가중치가 변형되어 실제 곡률이 왜곡된다. 본문에서는 Empirical Fisher가 잔차가 큰 샘플에 과도한 영향을 주어 고유벡터가 최악의 오차 방향을 반영한다고 지적된다.
