TL;DR
인수분해 모델 W = UVᵀ에서는 factor를 회전해도 같은 행렬이 유지되지만, Adam의 좌표별 second moment는 basis에 따라 달라져 이 대칭을 깨뜨립니다. underdetermined matrix sensing의 동일 training loss 비교에서 GD, shared-scalar Adam, Muon, Shampoo는 저랭크 복원 편향을 유지했고 Adam, RMSProp, Lion, signum, Adafactor는 이를 잃었습니다. Adam의 per-coordinate denominator를 shared scalar로 바꾸자 recovery가 단조롭게 개선돼 adaptivity보다 anisotropy가 핵심 원인으로 좁혀졌습니다. Muon은 진정한 저랭크 target에서는 거의 정확했지만 spectral tail energy가 약 4%에 이르면 GD에 추월당했으며, hyperspectral data의 43~44% held-out error 감소는 Adam에 불리한 train-only learning-rate 규칙의 영향을 받아 수치보다 메커니즘 중심으로 해석해야 합니다.
주요 논점
Adam의 좌표별 second moment가 factor basis에 따라 달라져 회전 대칭을 깨뜨리고 GD의 저랭크 편향을 훼손한다는 해석입니다. shared-scalar Adam 계열에서 recovery가 단조롭게 좋아진 결과가 이 설명을 직접 뒷받침합니다.
Muon은 저랭크 target에서는 강하지만 spectral tail이 커지면 GD에 추월당하므로, spectral simplicity bias와 spurious feature fitting이라는 기존의 상반된 관찰이 실험 조건에 따라 모두 나타날 수 있다는 입장입니다.
hyperspectral data의 43~44% held-out error 감소는 Adam에 불리한 train-only learning-rate rule의 영향을 받았으며, 각 optimizer에 최적 rate를 허용하면 격차가 줄어든다는 반론입니다.
합의점 vs 논쟁점
논쟁점
- Muon의 spectral simplicity bias와 deep-linear model에서의 spurious feature fitting이 서로 배타적인지 여부가 기존 연구와 엇갈립니다. 게시글의 sweep은 target의 spectral tail을 변화시키면 두 현상이 같은 성능 곡선에서 이어질 수 있다고 봅니다.
- hyperspectral data에서 optimizer 간 43~44% held-out error 차이를 어느 정도까지 일반화할 수 있는지는 learning-rate 선택 규칙 때문에 논쟁의 여지가 있습니다. 각 방법의 최적 learning rate를 허용하면 격차가 상당히 작아집니다.
- memoryless rule에 대한 이론 결과를 momentum을 포함한 실제 optimizer 전체로 확장할 수 있는지는 아직 확인되지 않았습니다.
실용적 조언
- factorized model에서 회전 대칭을 보존해야 한다면 per-coordinate second moment나 per-coordinate clip이 parameter basis에 따라 구조를 바꾸는지 먼저 점검하는 편이 좋습니다. Adam의 denominator를 shared scalar로 바꾸는 비교 실험을 통해 adaptivity 자체와 anisotropy의 영향을 분리할 수 있습니다.
- 구조적 저랭크 편향을 넣으려는 optimizer에서 per-coordinate clip이 문제를 일으키면 global norm clip을 대안으로 시험할 수 있습니다. 게시글의 자체 optimizer 실험에서는 recovery error가 0.347에서 0.220으로 낮아졌지만, 다른 데이터와 학습 규칙에서 같은 변화가 재현되는지는 별도 검증이 필요합니다.
- optimizer 비교에서는 모든 방법에 동일한 training loss 조건을 맞추고, learning rate를 train-only 정보로 선택하는지 명시해야 합니다. held-out data로 hyperparameter를 고르면 평가 데이터에 맞춘 bias가 생겨 optimizer의 구조적 차이와 수치상 성능 차이를 분리하기 어려워집니다.
섹션별 상세
이미지 분석
GD는 0.131, scalar-Adam은 0.201, Shampoo는 0.286의 recovery error를 기록해 gauge-equivariant 군집에 속합니다. Lion 0.425, signum 0.445, RMSProp 0.527, Adafactor 0.543, Adam 0.573은 coordinate-wise 군집으로 나타났으며, Muon은 6.8×10⁻⁶으로 가장 낮은 오차를 기록했습니다. 점선으로 표시된 empty gap은 예산 조건에서 회전 대칭을 보존하는 방법과 좌표별 적응 방법 사이의 성능 간격을 나타냅니다.
아홉 가지 optimizer의 ground-truth recovery error를 비교한 가로 막대 그래프입니다.
p가 1인 Adam에서는 effective rank가 약 14.5이고 recovery error가 0.570으로 표시됩니다. p를 0.75, 0.5, 0.25로 낮추면 effective rank가 약 11.1, 8.2, 6.4로 줄고, p가 0인 scalar-Adam에서는 rank 5.4와 recovery error 0.201에 도달합니다. planted rank 3과 GD의 effective rank 4.51 기준선에 가까워질수록 scalar preconditioner가 저랭크 복원을 개선하는 흐름이 나타납니다.
preconditioner anisotropy p가 Adam에서 scalar-Adam으로 이동할 때 effective rank와 recovery error가 함께 변하는 그래프입니다.
Adam은 모든 τ에서 가장 높은 recovery error를 보이며 τ가 0에서 0.5로 증가할 때 약 0.54에서 0.78로 높아집니다. Muon은 τ가 0일 때 거의 0에 가까운 오차를 기록하지만 τ가 약 0.2인 지점에서 GD와 가까워지고, 이후 GD에 추월당하는 crossover가 나타납니다. 그래프의 주석은 τ²가 target energy 중 tail에 해당하는 비율이며, τ≈0.2가 약 4% tail energy에 해당한다고 표시합니다.
target tail amplitude τ에 따른 Adam, Shampoo, GD, Muon의 recovery error 변화를 비교한 곡선입니다.
용어 해설
- 암묵적 저랭크 편향(Implicit Low-Rank Bias)
- — 모델이 같은 학습 손실에 도달해도 해 공간에서 상대적으로 낮은 rank의 해를 선호하는 현상입니다. 행렬 인수분해에서 GD의 회전 대칭을 보존하는 업데이트가 불필요한 고유 방향의 성장을 억제해 planted matrix 복원에 유리한 결과를 만듭니다.
- 행렬 센싱(Matrix Sensing)
- — 미지의 행렬에서 얻은 선형 측정값을 바탕으로 원래 행렬을 복원하는 문제입니다. underdetermined 설정에서는 관측 수보다 미지수가 많아 여러 해가 가능하므로, optimizer가 어떤 해를 선택하는지와 저랭크 편향을 비교하기에 적합합니다.
- 인수분해 모델(Factorized Model)
- — 큰 행렬 W를 두 행렬의 곱 W = UVᵀ로 표현하는 모델입니다. 이 표현은 (U,V)를 동시에 회전해도 W가 변하지 않는 대칭을 가지며, 좌표별 업데이트는 이 대칭을 깨뜨릴 수 있어 parameter basis에 따른 optimizer 차이를 낳습니다.
- 좌표별 적응성(Coordinate-wise Adaptivity)
- — 각 parameter 좌표의 과거 gradient 통계에 따라 서로 다른 크기의 업데이트를 적용하는 방식입니다. Adam의 per-coordinate second moment와 denominator가 factor의 basis에 의존하면서 회전 대칭을 보존하지 못하고, GD의 구조적 저랭크 편향을 훼손하는 원인으로 지목됐습니다.
- 스펙트럴 꼬리(Spectral Tail)
- — 행렬의 주요 singular value 성분을 제외한 나머지 스펙트럼 에너지입니다. Muon은 진정한 저랭크 target에서는 정확한 복원을 보였지만 spectral tail 에너지가 커지면 복원 오차가 빠르게 증가해 GD에 추월당했으며, crossover는 약 4% tail energy 부근에서 나타났습니다.
언급된 도구
좌표별 second moment를 사용하는 adaptive optimizer로, factor basis에 따른 anisotropy가 저랭크 복원에 미치는 영향을 비교하는 기준으로 사용됐습니다.
matrix sensing에서 저랭크 target과 spectral tail이 있는 target의 recovery error를 비교한 optimizer입니다.
GD와 함께 저랭크 편향을 유지하는 optimizer 군집에 포함된 방법입니다.
저랭크 편향을 잃는 optimizer 비교군으로 사용됐습니다.
저랭크 편향을 잃는 optimizer 비교군으로 사용됐습니다.
저랭크 편향을 잃는 optimizer 비교군으로 사용됐습니다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
