differentiable-collectives

분산 학습 환경에서 GPU 간 데이터를 주고받는 집합 연산(Collective Operations)에 자동 미분 기능을 지원하는 기술이다. 기존에는 역전파를 위해 별도의 커스텀 함수를 작성해야 했으나, 이를 통해 복잡한 분산 학습 알고리즘을 더 직관적으로 구현할 수 있다.