relu

입력이 0보다 작으면 0을, 0보다 크면 입력값을 그대로 출력하는 활성화 함수이다. 신경망 학습 시 기울기 소실 문제를 완화하며 계산 효율성이 높아 널리 사용된다.