pipeline-parallel-training

대규모 신경망 모델을 여러 층(layer) 단위로 쪼개어 서로 다른 GPU 장치에 할당하고 순차적으로 데이터를 처리하는 분산 학습 기법이다. 각 장치 간에 데이터(활성화 값 및 그래디언트)를 주고받아야 하므로 통신 대역폭이 성능의 병목이 되기 쉽다. 이 아티클에서는 저대역폭 환경에서도 효율적인 학습을 가능하게 하는 기술적 배경으로 작용한다.