파이프라인 병렬화
모델의 레이어들을 여러 그룹으로 나누어 서로 다른 GPU(또는 노드)에 배치하고, 데이터를 순차적으로 통과시키는 방식입니다. 마이크로 배치를 사용하여 여러 GPU가 동시에 서로 다른 레이어 단계를 처리하도록 유도하여 효율성을 높입니다.