gradient-compression
분산 학습 시 노드 간에 주고받는 그래디언트 데이터의 크기를 줄이는 기술이다. 통신 대역폭 병목 현상을 해결하여 전체 학습 속도를 높이는 데 필수적이다.
Character.AI가 공개한 6비트 그래디언트 압축과 효율적 학습 비결
대역폭 75% 부족해도 학습 성공? Character.ai의 6비트 그래디언트 압축 기술 공개