본문으로 건너뛰기

Tensor Parallelism

텐서 병렬화

대규모 모델의 연산을 여러 개의 GPU에 나누어 동시에 처리하는 병렬화 기법이다. 단일 GPU 메모리에 담기 힘든 거대 모델을 구동하거나 추론 속도를 높이기 위해 필수적으로 사용된다.