Computation-communication Overlap
계산과 통신의 중첩
현재 Micro-batch를 계산하는 동안 백그라운드 스레드와 CUDA stream으로 다음 Micro-batch의 GPU 간 데이터 이동을 미리 처리하는 실행 방식입니다. 계산이 끝날 때 다음 Pack이 도착하도록 통신을 숨겨 재배치 비용이 학습 시간에 추가되는 현상을 줄입니다.
계산과 통신의 중첩
현재 Micro-batch를 계산하는 동안 백그라운드 스레드와 CUDA stream으로 다음 Micro-batch의 GPU 간 데이터 이동을 미리 처리하는 실행 방식입니다. 계산이 끝날 때 다음 Pack이 도착하도록 통신을 숨겨 재배치 비용이 학습 시간에 추가되는 현상을 줄입니다.
