implicit-low-rank-bias

모델이 같은 학습 손실에 도달해도 해 공간에서 상대적으로 낮은 rank의 해를 선호하는 현상입니다. 행렬 인수분해에서 GD의 회전 대칭을 보존하는 업데이트가 불필요한 고유 방향의 성장을 억제해 planted matrix 복원에 유리한 결과를 만듭니다.