본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
어텐션 Z-정규화 (attention-z-reg) 용어 설명 | AI Trends
attention-z-reg
어텐션 Z-정규화
고급
어텐션 로짓의 합계를 0 근처로 유지하여 bfloat16의 고정밀 수치 범위를 최대한 활용하게 함으로써 학습 안정성을 높이는 기법이다.
비슷한 개념
attention-sink
layer-normalization
mean-normalization
mixed-precision
qk-norm
attention-logits
activation-scaling
fp16-precision
← 용어 사전 전체 보기