Tensor Parallel

하나의 연산을 여러 장치에 나누어 병렬로 처리하는 방식이다. 분산 환경에서는 장치 간 데이터 전송량이 많아 네트워크 대역폭이 병목 현상의 원인이 되기도 한다.