Topology-aware 5D parallelism
토폴로지 인지 5D 병렬화
네트워크 토폴로지와 계층적 통신 구조를 고려해 모델·데이터·전문가 파라미터를 다차원으로 분할하는 병렬화 방식으로, 통신 병목을 줄이고 확장성을 높이기 위해 설계된다. 대규모 GPU 클러스터에서 스케일업 시 통신 오버헤드를 완화하는 목적이다.
토폴로지 인지 5D 병렬화
네트워크 토폴로지와 계층적 통신 구조를 고려해 모델·데이터·전문가 파라미터를 다차원으로 분할하는 병렬화 방식으로, 통신 병목을 줄이고 확장성을 높이기 위해 설계된다. 대규모 GPU 클러스터에서 스케일업 시 통신 오버헤드를 완화하는 목적이다.
