Sharding Plan

대규모 모델의 텐서를 여러 GPU 장치에 분산 배치하는 전략입니다. 효율적인 샤딩 계획은 초기화 시 통신 오버헤드를 줄이고 메모리 활용도를 최적화하는 데 필수적입니다.