본문으로 건너뛰기

weight-decay-collapse

가중치 감쇠 붕괴

가중치 감소 속도가 학습을 통한 갱신 속도를 앞질러 모델 파라미터가 무의미해지는 현상이다. 손실 곡선은 정상으로 보일 수 있어 감지가 매우 어렵고 모델 성능을 완전히 파괴한다.