본문으로 건너뛰기
QK-Norm
QK 정규화
어텐션 메커니즘의 Query와 Key에 RMSNorm을 적용하여 학습 중 발생하는 손실 스파이크를 방지하고 안정성을 높이는 기술이다.
비슷한 개념
QKV Attention
Scalar QK Norm
Reverse-QWK
Attention
Group-Query Attention
Scaled Dot-Product Attention
Q, K, V Matrices
Attention Mechanism
← 용어 사전 전체 보기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필