자동 정밀도 변환
PyTorch에서 연산의 특성에 따라 FP16/BF16과 FP32를 자동으로 선택해 실행하는 기능이다. DeepSpeed의 저정밀도 학습 모드와 결합되어 수치적 안정성을 보장하며 모델 품질 저하 없이 메모리 효율을 높이는 역할을 한다.
DeepSpeed로 멀티모달 학습 속도 30% 향상하고 메모리 40% 절감하기