활성화 함수 시각적 가이드: Sigmoid부터 Softmax까지

실용적 조언

모델 학습이 중간에 멈춘다면 활성화 함수로 인한 기울기 소실이나 다잉 ReLU 문제를 먼저 점검하라.
기본적으로 ReLU를 사용하되, 성능 개선이 필요하다면 Leaky ReLU나 GELU 도입을 검토하라.

섹션별 상세

신경망에서 활성화 함수가 필수적인 이유는 비선형성을 도입하기 위함이다. 활성화 함수 없이 선형 층만 쌓을 경우, 수학적으로 모든 층이 하나의 선형 방정식으로 붕괴되어 모델의 표현력이 극도로 제한된다. 따라서 복잡한 데이터 패턴을 학습하기 위해서는 각 층의 출력을 비선형 함수로 변환하는 과정이 반드시 수반되어야 한다.

ReLU(Rectified Linear Unit)는 현대 딥러닝에서 가장 널리 사용되지만 다잉 ReLU(Dying ReLU)라는 잠재적 결함을 가지고 있다. 입력값이 0보다 작을 때 출력을 0으로 고정하는 특성 때문에, 특정 뉴런의 가중치가 음수 영역으로 치우치면 기울기가 0이 되어 더 이상 업데이트되지 않는 상태에 빠진다. 이를 해결하기 위해 음수 영역에서도 미세한 기울기를 허용하는 Leaky ReLU나 ELU 같은 대안들이 제시되었다.

은닉층과 출력층에 사용되는 활성화 함수는 목적에 따라 엄격히 구분되어야 한다. 은닉층에서는 주로 연산 효율이 높고 기울기 소실이 적은 ReLU 계열이 선호되는 반면, 출력층에서는 문제의 유형에 따라 결정된다. 이진 분류에서는 출력을 0과 1 사이로 압축하는 Sigmoid를, 다중 클래스 분류에서는 각 클래스의 확률 합을 1로 만드는 Softmax를 사용하는 것이 표준적인 접근이다.

용어 해설

활성화 함수(Activation Function): — 입력 신호의 총합을 출력 신호로 변환하는 함수로, 신경망에 비선형성을 부여하여 복잡한 패턴을 학습할 수 있게 한다. 활성화 함수가 없으면 다층 신경망은 단순한 선형 결합으로 축소되어 딥러닝의 이점을 잃게 된다.
기울기 소실(Vanishing Gradient): — 역전파 과정에서 하위 층으로 갈수록 기울기가 점차 작아져 가중치 업데이트가 거의 일어나지 않는 현상이다. Sigmoid나 Tanh 함수에서 출력이 포화될 때 주로 발생하며 딥러닝 모델의 학습 속도를 저하시키거나 중단시킨다.
다잉 ReLU(Dying ReLU): — ReLU 함수의 입력값이 음수일 때 출력이 0이 되어 해당 뉴런의 기울기가 소멸하고 더 이상 학습되지 않는 현상이다. 특정 뉴런이 영구적으로 비활성화되어 네트워크의 용량이 낭비되는 문제를 야기한다.
비선형성(Non-linearity): — 입력과 출력의 관계가 직선 형태가 아닌 복잡한 곡선 형태를 띠는 성질이다. 신경망이 단순한 선형 회귀를 넘어 이미지 인식이나 자연어 처리와 같은 복잡한 문제를 해결할 수 있게 만드는 핵심 요소이다.

언급된 도구

ReLU추천

은닉층에서 비선형성을 부여하고 연산 효율을 높이기 위한 표준 활성화 함수

Softmax추천

다중 클래스 분류 문제의 출력층에서 확률 분포를 생성하기 위해 사용

언급된 리소스

튜토리얼Activation Functions Explained Visually | Sigmoid, Tanh, ReLU, Softmax & More