softmax
여러 개의 값을 0과 1 사이의 확률값으로 변환하며 전체 합이 1이 되도록 만드는 함수이다. 어텐션 스코어를 확률로 변환하여 각 Value에 곱할 가중치를 결정한다.
'바이브 코딩'을 넘어 AI의 수학적 원리를 시각화로 정복하기
"Q, K는 알겠는데 V는 왜 필요한가요?" 어텐션의 본질을 묻다