survival-conditioning

ReLU 게이트의 활성화 여부가 입력 방향으로의 양의 성분에 따라 달라지면서 활성화 신호가 살아남아 다른 층으로 전달되는 현상을 설명한다.