relu
입력이 0보다 작으면 0을, 0보다 크면 입력값을 그대로 출력하는 활성화 함수이다. 신경망 학습 시 기울기 소실 문제를 완화하며 계산 효율성이 높아 널리 사용된다.
얕은 ReLU 신경망의 일반화 성능, 1/n 수준의 최적 오차 범위 달성