fsx-lustre
Amazon FSx for Lustre
Amazon FSx for Lustre는 고성능 컴퓨팅에 최적화된 관리형 파일시스템으로서 낮은 지연과 높은 처리량을 제공한다. 훈련 데이터, 합성 데이터, 체크포인트를 다수 노드에서 병렬로 읽고 쓸 수 있어 대규모 분산 훈련의 I/O 병목을 완화한다. 본 프로젝트에서는 안정적 멀티노드 학습 환경을 위해 스토리지 계층으로 활용되었다.
Amazon FSx for Lustre
Amazon FSx for Lustre는 고성능 컴퓨팅에 최적화된 관리형 파일시스템으로서 낮은 지연과 높은 처리량을 제공한다. 훈련 데이터, 합성 데이터, 체크포인트를 다수 노드에서 병렬로 읽고 쓸 수 있어 대규모 분산 훈련의 I/O 병목을 완화한다. 본 프로젝트에서는 안정적 멀티노드 학습 환경을 위해 스토리지 계층으로 활용되었다.