희소성-영구성 트레이드오프
그라디언트 업데이트를 특정 회로로 집중할 때 각 파라미터당 업데이트 크기가 커지며 양자화 경계 cross가 가능해지지만, 회로 밖의 파라미터를 동결하면 전체 업데이트가 줄어들고 양자화 환경에서의 망각이 지속될 확률이 증가하는 현상.