decentralized-training
단일 데이터센터가 아닌 인터넷으로 연결된 여러 위치의 컴퓨팅 자원을 활용해 AI 모델을 학습시키는 방식이다. 거대 기업의 독점적 인프라 없이도 대규모 모델을 학습시킬 수 있는 대안으로 주목받고 있다.
메타의 AI 커널 자동 설계로 성능 17배 향상, 분산 학습은 매년 20배 성장 중