Snap, NVIDIA cuDF와 Apache Spark로 데이터 처리 비용 76% 절감 및 4배 속도 향상

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Snap은 매일 10페타바이트 이상의 데이터를 처리하며 수천 개의 A/B 테스트를 수행하지만, 기존 CPU 기반 인프라로는 급증하는 비용과 확장성 문제를 해결하기 어려웠다. 이를 해결하기 위해 NVIDIA cuDF와 Apache Spark를 결합하여 Google Cloud의 GPU 인프라로 마이그레이션했다. 그 결과, 동일한 장비 수로 4배의 성능 향상을 달성하고 일일 운영 비용을 76% 절감하는 성과를 거두었다. 이번 사례는 대규모 데이터 파이프라인에서 GPU 가속이 비용 효율적인 확장을 위한 핵심 동력임을 입증한다.

배경

Apache Spark, Distributed Computing, Cloud Infrastructure (GCP)

대상 독자

대규모 데이터 파이프라인을 운영하는 데이터 엔지니어 및 MLOps 전문가

의미 / 영향

대규모 데이터 처리에 있어 GPU 가속이 선택이 아닌 필수임을 보여주며, 특히 Apache Spark와 같은 기존 프레임워크와의 호환성이 기업의 도입 장벽을 낮추고 있다. 이는 AI 모델 학습뿐만 아니라 전처리 및 분석 단계에서도 GPU의 경제성이 CPU를 압도하고 있음을 시사한다.

섹션별 상세

Snap은 매달 수천 개의 실험을 수행하며 9억 4천만 명의 사용자를 대상으로 6,000개 이상의 지표를 분석하기 위해 매일 아침 3시간 이내에 10페타바이트의 데이터를 처리한다.

Snap의 시니어 엔지니어링 매니저 Prudhvi Vatala의 인용구 이미지 — Infographic데이터 인프라를 CPU에서 GPU로 전환함으로써 실험 과정을 효율적으로 확장할 수 있게 되었다는 Snap의 핵심 전략 변화를 강조한다.

NVIDIA cuDF 라이브러리를 Apache Spark에 도입하여 기존 코드를 수정하지 않고도 GPU 가속을 적용했으며, 이를 통해 런타임 속도를 4배 향상시켰다.

Google Kubernetes Engine(GKE)과 NVIDIA L4 GPU 기반의 G2 가상 머신을 활용하여 인프라를 최적화함으로써 기존 CPU 워크로드 대비 일일 비용을 76% 절감했다.

최적화 과정을 통해 당초 예상했던 5,500개의 GPU 대신 2,100개의 GPU만으로도 대규모 워크로드를 안정적으로 처리할 수 있음을 확인했다.

Snap은 A/B 테스트 팀을 넘어 더 넓은 범위의 프로덕션 워크로드에 Spark 가속기를 통합하여 데이터 인프라 전반의 효율성을 높일 계획이다.

실무 Takeaway

대규모 데이터 처리가 필요한 환경에서 Apache Spark 워크로드에 NVIDIA cuDF를 적용하면 코드 변경 없이도 처리 속도를 4배 개선할 수 있다.
CPU 기반 인프라에서 GPU 가속 파이프라인으로 전환함으로써 대규모 실험 환경의 확장 비용 곡선을 평탄화하고 최대 76%의 비용 절감이 가능하다.
NVIDIA L4 GPU와 같은 최신 가속기를 Google Cloud G2 VM과 결합하여 인프라를 구성하면 에너지 효율적이고 경제적인 데이터 팩토리를 구축할 수 있다.

언급된 리소스

문서NVIDIA cuDF

튜토리얼GPU acceleration for Apache Spark