autocast
자동 정밀도 변환
PyTorch에서 연산의 특성에 따라 FP16/BF16과 FP32를 자동으로 선택해 실행하는 기능이다. DeepSpeed의 저정밀도 학습 모드와 결합되어 수치적 안정성을 보장하며 모델 품질 저하 없이 메모리 효율을 높이는 역할을 한다.
자동 정밀도 변환
PyTorch에서 연산의 특성에 따라 FP16/BF16과 FP32를 자동으로 선택해 실행하는 기능이다. DeepSpeed의 저정밀도 학습 모드와 결합되어 수치적 안정성을 보장하며 모델 품질 저하 없이 메모리 효율을 높이는 역할을 한다.
