sigmoid-attention

표준 소프트맥스(Softmax) 대신 시그모이드 함수를 사용하여 어텐션 가중치를 계산하는 기법이다. 각 요소의 점수가 다른 요소에 의존하지 않고 독립적으로 0과 1 사이의 값을 가지므로 여러 정보가 동시에 중요하거나 모두 중요하지 않은 상황을 더 잘 처리한다.