제로 최적화
DeepSpeed의 핵심 기술로 모델 상태를 여러 GPU에 분산 저장하여 메모리 효율을 극대화하는 기법이다. 이번 업데이트에서도 ZeRO와 새로운 PyTorch 호환 API 간의 결합을 통해 대규모 모델 학습 시의 효율성을 보장한다.
DeepSpeed로 멀티모달 학습 속도 30% 향상하고 메모리 40% 절감하기