softmax-attention
입력 요소들 간의 상관관계를 소프트맥스 함수를 통해 확률적으로 가중치를 부여하여 중요한 정보에 집중하는 메커니즘이다. 트랜스포머 아키텍처의 핵심 구성 요소로 사용된다.
어텐션 메커니즘의 성능을 높이는 미러 디센트의 비밀