synchronization-overhead

분산 컴퓨팅 환경에서 여러 GPU가 서로의 계산 결과를 기다리거나 데이터를 주고받는 과정에서 낭비되는 시간이다. 동기화 횟수가 많아질수록 실제 연산 효율이 떨어지고 시스템의 전체적인 지연 시간이 늘어난다.