pipeline-parallelism
모델의 레이어들을 여러 그룹으로 나누어 서로 다른 GPU(또는 노드)에 배치하고, 데이터를 순차적으로 통과시키는 방식입니다. 마이크로 배치를 사용하여 여러 GPU가 동시에 서로 다른 레이어 단계를 처리하도록 유도하여 효율성을 높입니다.
모델의 레이어들을 여러 그룹으로 나누어 서로 다른 GPU(또는 노드)에 배치하고, 데이터를 순차적으로 통과시키는 방식입니다. 마이크로 배치를 사용하여 여러 GPU가 동시에 서로 다른 레이어 단계를 처리하도록 유도하여 효율성을 높입니다.