softplus-function

ReLU의 매끄러운 근사 함수로, f(x) = ln(1 + exp(x)) 형태를 가집니다. 어텐션 헤드의 중요도를 0 이상의 연속적인 값으로 변환하여 미세한 가중치 조절을 가능하게 합니다.