lockstep-computation
동기식 연산
대규모 분산 학습 시 모든 GPU가 연산 단계를 맞추어 동시에 데이터를 주고받는 방식이다. 하나의 GPU나 네트워크 링크만 느려져도 전체 클러스터가 대기 상태에 빠지는 병목 현상이 발생하므로, 네트워크의 안정성과 균일한 성능 유지가 필수적이다.
동기식 연산
대규모 분산 학습 시 모든 GPU가 연산 단계를 맞추어 동시에 데이터를 주고받는 방식이다. 하나의 GPU나 네트워크 링크만 느려져도 전체 클러스터가 대기 상태에 빠지는 병목 현상이 발생하므로, 네트워크의 안정성과 균일한 성능 유지가 필수적이다.
