Scalar QK Norm
스칼라 Q/K 정규화
쿼리·키 정규화 벡터가 전체 차원에서 같은 값으로 학습된 경우를 가리키며, 각 레이어마다 학습된 두 스칼라 γ_q·γ_k로 q, k의 크기를 고정해 유효한 '온도'를 레이어 단위로 설정합니다. 이로 인해 q·k 내적은 크기 정보가 아닌 각도(유사도)에 의해 주로 결정되며 장문 문맥에서 고정 크기 키가 과도하게 영향력을 갖는 문제를 완화할 수 있습니다. 논리적으로는 q·k 곱에 상수인 d_hγ_qγ_k가 곱해져 소프트맥스의 샤프니스(효과적 온도)를 레이어 수준에서 고정합니다.
