jax-collective-operations
여러 가속기 간에 데이터를 효율적으로 동기화하고 통신하기 위한 저수준 연산으로 대규모 분산 학습의 확장성을 결정한다.
성능과 다양성의 충돌을 해결하는 자동 종 분화 기술