Distributed Training
분산 학습
단일 머신의 자원을 초과하는 대규모 모델이나 데이터를 처리하기 위해 여러 대의 컴퓨터(노드)와 GPU를 연결하여 동시에 학습을 진행하는 기법이다. 학습 시간을 단축하고 대형 모델 수용을 가능하게 하지만 노드 간 통신 및 동기화 관리가 복잡하다.
분산 학습
단일 머신의 자원을 초과하는 대규모 모델이나 데이터를 처리하기 위해 여러 대의 컴퓨터(노드)와 GPU를 연결하여 동시에 학습을 진행하는 기법이다. 학습 시간을 단축하고 대형 모델 수용을 가능하게 하지만 노드 간 통신 및 동기화 관리가 복잡하다.
