NVIDIA SHARP
NVIDIA SHARP
분산 학습의 collective communication을 가속하는 NVIDIA 기술이다. NVLink Domain 안에 밀접하게 통신하는 actor를 배치하면 all_reduce 같은 연산에서 NVLink를 활용하고 NVIDIA SHARP와 같은 가속 기능도 더 효과적으로 사용할 수 있다.
NVIDIA SHARP
분산 학습의 collective communication을 가속하는 NVIDIA 기술이다. NVLink Domain 안에 밀접하게 통신하는 actor를 배치하면 all_reduce 같은 연산에서 NVLink를 활용하고 NVIDIA SHARP와 같은 가속 기능도 더 효과적으로 사용할 수 있다.
