혼합 정밀도 제어
모델 본체는 BF16으로 유지하되, 수치 민감 연산인 attention softmax와 LM head는 FP32로 계산하여 지수 연산에서의 반올림 오류가 중요도 비율에 증폭되는 것을 방지하는 방식이다. 이 조정은 훈련-추론 엔진 간 로짓 불일치와 갑작스런 손실 스파이크를 억제했다.
