데이터 병렬화
전체 모델을 각 GPU에 복제하고 학습 데이터를 여러 배치로 나누어 병렬로 처리하는 기법입니다. 각 GPU에서 계산된 그래디언트를 동기화하여 모델을 업데이트하며, 구현이 비교적 간단하지만 모델이 단일 GPU 메모리에 들어갈 수 있어야 한다는 제약이 있습니다.