Pipeline Parallel Training
파이프라인 병렬 학습
대규모 신경망 모델을 여러 층(layer) 단위로 쪼개어 서로 다른 GPU 장치에 할당하고 순차적으로 데이터를 처리하는 분산 학습 기법이다. 각 장치 간에 데이터(활성화 값 및 그래디언트)를 주고받아야 하므로 통신 대역폭이 성능의 병목이 되기 쉽다. 이 아티클에서는 저대역폭 환경에서도 효율적인 학습을 가능하게 하는 기술적 배경으로 작용한다.
파이프라인 병렬 학습
대규모 신경망 모델을 여러 층(layer) 단위로 쪼개어 서로 다른 GPU 장치에 할당하고 순차적으로 데이터를 처리하는 분산 학습 기법이다. 각 장치 간에 데이터(활성화 값 및 그래디언트)를 주고받아야 하므로 통신 대역폭이 성능의 병목이 되기 쉽다. 이 아티클에서는 저대역폭 환경에서도 효율적인 학습을 가능하게 하는 기술적 배경으로 작용한다.
