coordinate-wise-adaptivity
좌표별 적응성
각 parameter 좌표의 과거 gradient 통계에 따라 서로 다른 크기의 업데이트를 적용하는 방식입니다. Adam의 per-coordinate second moment와 denominator가 factor의 basis에 의존하면서 회전 대칭을 보존하지 못하고, GD의 구조적 저랭크 편향을 훼손하는 원인으로 지목됐습니다.
좌표별 적응성
각 parameter 좌표의 과거 gradient 통계에 따라 서로 다른 크기의 업데이트를 적용하는 방식입니다. Adam의 per-coordinate second moment와 denominator가 factor의 basis에 의존하면서 회전 대칭을 보존하지 못하고, GD의 구조적 저랭크 편향을 훼손하는 원인으로 지목됐습니다.
