qk-norm

어텐션 메커니즘의 Query와 Key에 RMSNorm을 적용하여 학습 중 발생하는 손실 스파이크를 방지하고 안정성을 높이는 기술이다.