에러 피드백
지연이나 압축으로 누락된 업데이트를 보상하기 위해 이전 업데이트의 잔차를 다음 단계에 더하는 기법이다. 본문 맥락에서는 한 단계 지연된 업데이트에 대해 두 배의 이전 업데이트를 적용하고 그 이전 업데이트를 더해 지연으로 발생한 오차를 보정하는 방식으로 적용되었다. 메모리 오버헤드는 모델 크기 한 벌 분량의 버퍼 추가에 그쳐 대규모 학습에서도 현실적인 보완책이다.
