DDP

여러 GPU에 데이터를 나누어 학습을 가속화하는 기술로, 각 GPU(랭크) 간의 연산 속도와 데이터 공급 속도가 일치해야 최대 효율을 낼 수 있다.