fsdp2

FSDP2는 대규모 분산 학습에서 메모리 오버헤드를 줄이고 통신과 계산을 겹치게 처리하는 Full Sharded Data Parallel의 확장으로, 통신 오버랩 기능을 통해 대형 클러스터 학습의 처리 효율을 높이는 구조적 개선을 포함한다. 글에서는 대규모 클러스터 훈련을 위한 통신 오버랩 기능 추가로 소개되었다.