gradient-compression

분산 학습 시 노드 간에 주고받는 그래디언트 데이터의 크기를 줄이는 기술이다. 통신 대역폭 병목 현상을 해결하여 전체 학습 속도를 높이는 데 필수적이다.