information-dilution

신경망이 깊어질수록 잔차 연결을 통한 반복적인 업데이트 과정에서 초기 계층의 유용한 특징이 점차 사라지는 현상이다. 이는 모델이 깊은 층에서 초기 정보를 복구하기 어렵게 만들어 성능 한계를 유발한다.