다잉 ReLU
ReLU 함수의 입력값이 음수일 때 출력이 0이 되어 해당 뉴런의 기울기가 소멸하고 더 이상 학습되지 않는 현상이다. 특정 뉴런이 영구적으로 비활성화되어 네트워크의 용량이 낭비되는 문제를 야기한다.