Meta의 BLOB 스토리지 아키텍처 진화와 GPU 활용 최적화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대규모 모델과 데이터셋이 빠르게 확장되는 가운데 스토리지와 인터커넥트의 상대적 성능 정체가 GPU 스톨과 연구 속도 저하를 초래하고 있다. Meta는 지역 단위의 Tectonic 블록 계층을 기반으로 erasure-coding, 매체 간 티어링, 핫·웜·콜드 데이터 배치를 통해 내구성과 I/O 효율을 확보하고 그 위에 전역 BLOB-storage 계층을 두어 무한 확장성과 정책 기반의 내구성·가용성 트레이드오프를 제공하고 있다. 이전에는 블록 레이어 위의 NFS 유사 파일시스템으로 직접 학습을 수행했으나 통합 접근성과 성능 요구로 BLOB 계층으로의 전환이 진행되고 있다. 이러한 아키텍처 변화는 지연 상한 보장과 지속적 고처리량 확보를 통해 GPU 활용도를 높이고 연구 반복 속도를 개선하지만 문서에서는 스토리지 성능 자체의 추세 제약이 여전히 과제로 남아 있음을 지적하고 있다.

섹션별 상세

대규모 모델과 데이터셋의 성장으로 스토리지 성능이 AI 혁신의 속도와 비용에 직접적인 영향을 미치고 있다. 문서에서는 AI 성능은 빠르게 향상되는 반면 스토리지·인터커넥트 성능 향상은 제한적이라 GPU가 I/O 대기 때문에 작업이 정체되는 사례가 반복된다고 밝혔다. 이러한 병목은 지출 증가와 제품화까지 걸리는 시간을 늘리며 연구자들이 리전 간 데이터 이동과 인제스트에 많은 시간을 소모하게 만든다. 따라서 스토리지 설계는 GPU 활용률을 극대화하고 연구 반복 속도를 높이는 방향으로 재설계되어야 한다.

근거

AI compute performance has roughly tripled every two years while storage and interconnect performance growth have been more modest. — 도입부 문단에서 컴퓨트 성능과 스토리지 성능 성장률을 비교한 설명

Meta의 스토리지 스택은 지역 단위의 Tectonic 블록 계층 위에 글로벌 BLOB-storage 계층을 쌓는 구조로 구성되어 있다. Tectonic은 erasure-coding을 이용해 높은 내구성과 가용성을 보장하고 HDD와 플래시 간의 티어링 및 핫·웜·콜드 데이터 배치를 통해 테넌트별 I/O 효율을 관리한다. 그 위에 올려진 BLOB-storage 계층은 무한 확장성의 전역 네임스페이스와 내구성·가용성 간 정책적 트레이드오프를 노출하여 대규모 데이터 레이크에 대한 통합 접근을 가능하게 한다. 이전에는 Llama 학습과 같은 워크로드가 Tectonic 블록 레이어 위의 NFS 유사 파일시스템으로 직접 이루어졌으나, 현재는 통합성과 성능을 이유로 BLOB 계층으로 천천히 전환하고 있다.

AI 워크로드의 특성으로 인해 지연 시간의 상한(pMax)이 중요해졌다는 점이 성능 관점에서 핵심이다. 수백만 개의 GPU가 여러 에폭에 걸쳐 저장소의 데이터를 반복 접근할 때 I/O 지연이 일정 한계를 초과하면 GPU가 대기 상태로 전환되어 전체 처리량이 감소한다. 문서에서는 AI 컴퓨트 성능이 대략 2년마다 3배로 증가하는 반면 스토리지 성능 향상은 더 완만하다고 지적하여 이 불균형이 GPU 스톨의 주요 원인이라고 밝혔다. 따라서 BLOB 스토리지 설계는 저·상한 지연을 보장하고 지속적 고처리량을 지원하도록 최적화되는 것이 중요하다.

용어 해설

BLOB Storage: — 대규모 객체(Object)를 저장하고 전역적으로 네임스페이스를 제공하는 스토리지 계층으로, 대용량 데이터 레이크에 대한 통합 접근성과 높은 확장성을 제공하여 분산 학습과 대규모 데이터 처리에서 입출력 병목을 줄이는 데 핵심 역할을 한다.
Tectonic: — 지역 단위의 수평 확장 가능한 블록 계층으로, erasure-coding 기반의 내구성 확보와 HDD·플래시 간 티어링을 통해 핫·웜·콜드 데이터 배치를 관리하여 테넌트 간 I/O 효율을 최적화하는 Meta의 기초 스토리지 계층이다.
Erasure Coding: — 데이터를 다수의 조각으로 분할해 여분의 코드조각을 생성함으로써 일부 디스크 또는 노드 장애 시에도 데이터 복구가 가능하도록 하는 분산 내구성 기법으로서 저장 공간 대비 높은 내구성과 가용성을 확보하는 데 사용된다.
Tiering: — 서버의 스토리지 매체 특성(예: HDD, SSD)에 따라 데이터를 핫·웜·콜드로 분류하고 적절한 매체에 자동 배치하여 비용과 I/O 성능을 균형 있게 관리하는 정책과 실행 메커니즘을 의미한다.

언급된 리소스

Demo@Scale talk: Training Llama: A Storage Perspective

Meta의 BLOB 스토리지 아키텍처 진화와 GPU 활용 최적화

TL;DR

섹션별 상세

용어 해설

언급된 리소스

관련 토론

댓글

관련 기사

NVIDIA Blackwell GPU로 Amazon SageMaker AI에서 모델 학습 최적화

JAX 기반 LLM 학습에서 호스트 오프로딩으로 고대역폭 메모리 병목 완화

대규모 분산 학습에서 인터커넥트가 GPU 실사용률과 비용 산정에 미치는 영향과 계산기 공개

GPU Compute Index 공개와 100GbE에서 70B+ 학습 시 발생하는 40% 숨겨진 비용 경고