Softmax Operator
Softmax 연산자
Attention의 logits를 입력으로 받아 각 항목의 상대적인 가중치를 합이 1인 확률 형태로 변환하는 연산이다. 일부 입력값이 매우 크거나 작은 이상치에 영향을 받으면 출력 분포가 급격히 달라질 수 있다. 연구진은 이 민감성이 양자화 오차를 키우는 병목으로 작용한다고 분석했다.
Softmax 연산자
Attention의 logits를 입력으로 받아 각 항목의 상대적인 가중치를 합이 1인 확률 형태로 변환하는 연산이다. 일부 입력값이 매우 크거나 작은 이상치에 영향을 받으면 출력 분포가 급격히 달라질 수 있다. 연구진은 이 민감성이 양자화 오차를 키우는 병목으로 작용한다고 분석했다.
