ZeRO-1
ZeRO-1은 분산 데이터 병렬 학습 환경에서 옵티마이저 상태를 워커들 사이에 분산해 GPU당 메모리 부담을 낮추는 기법으로, DDP와 결합해 대규모 모델 학습을 더 작은 메모리 환경에서 가능하게 한다.
