본문으로 건너뛰기

TP4

텐서 병렬화 4

모델의 가중치 행렬을 4개의 GPU에 분할하여 병렬 처리하는 기법. 대형 모델을 단일 GPU 메모리에 올릴 수 없을 때 추론 속도를 높이는 데 사용된다.