제로 중복 옵티마이저
마이크로소프트가 개발한 데이터 병렬화 최적화 기술로 중복되는 메모리 점유를 제거한다. 단계별로 메모리 절약 수준을 조절하며 대규모 모델 학습의 필수 기술로 자리 잡았다.
LLM 학습 비용과 MFU를 1% 오차로 예측하는 시뮬레이터