nccl-rdma

NCCL은 GPU 간 고속 통신 라이브러리이고 RDMA는 네트워크 수준에서 CPU 개입을 최소화하는 직접 메모리 접근 기술로서 대용량 가중치 동기화의 지연을 줄인다. Miles는 이 조합을 통해 빠른 weight synchronization을 구현하여 분산 훈련 병목을 완화한다. 기사에서는 NCCL/RDMA 기반의 빠른 동기화가 내장되었다고 밝혔다.