sparse-loco
희소 저순위 합의 최적화
분산 학습 시 발생하는 막대한 통신량을 줄이기 위해 가중치 업데이트 정보를 희소화하고 저순위 행렬로 압축하여 전송하는 알고리즘이다. 인터넷과 같은 저대역폭 환경에서도 효율적인 모델 동기화를 가능하게 하여 대규모 분산 학습의 병목 현상을 해결한다.
고급
희소 저순위 합의 최적화
분산 학습 시 발생하는 막대한 통신량을 줄이기 위해 가중치 업데이트 정보를 희소화하고 저순위 행렬로 압축하여 전송하는 알고리즘이다. 인터넷과 같은 저대역폭 환경에서도 효율적인 모델 동기화를 가능하게 하여 대규모 분산 학습의 병목 현상을 해결한다.