softmax-shift-invariance

입력 벡터의 모든 요소에 동일한 상수를 더하거나 빼도 Softmax 함수의 출력 결과가 변하지 않는 수학적 성질이다. 이 성질 덕분에 어텐션 계산 시 모든 쿼리에 공통된 항(예: 쿼리 벡터의 노름)을 제거하여 연산량을 줄일 수 있다. 메모리 최적화를 위한 수식 전개에서 핵심적인 역할을 하는 원리이다.