attention-z-reg

어텐션 로짓의 합계를 0 근처로 유지하여 bfloat16의 고정밀 수치 범위를 최대한 활용하게 함으로써 학습 안정성을 높이는 기법이다.