Mixed-Precision Control
혼합 정밀도 제어
모델 본체는 BF16으로 유지하되, 수치 민감 연산인 attention softmax와 LM head는 FP32로 계산하여 지수 연산에서의 반올림 오류가 중요도 비율에 증폭되는 것을 방지하는 방식이다. 이 조정은 훈련-추론 엔진 간 로짓 불일치와 갑작스런 손실 스파이크를 억제했다.
혼합 정밀도 제어
모델 본체는 BF16으로 유지하되, 수치 민감 연산인 attention softmax와 LM head는 FP32로 계산하여 지수 연산에서의 반올림 오류가 중요도 비율에 증폭되는 것을 방지하는 방식이다. 이 조정은 훈련-추론 엔진 간 로짓 불일치와 갑작스런 손실 스파이크를 억제했다.
