20,000개의 GPU를 건강하게 유지하는 방법: Modal의 GPU 신뢰성 시스템

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

대규모 GPU 클러스터 운영에서 하드웨어 신뢰성은 서비스 품질을 결정하는 가장 큰 도전 과제이다. Modal은 AWS, GCP, Azure 등 주요 클라우드 공급자로부터 20,000개 이상의 GPU를 확보하여 운영하며, 공급자별 성능 및 신뢰성 편차를 데이터로 관리한다. 이를 해결하기 위해 머신 이미지 자동화, 부팅 시 경량 체크, 그리고 운영 중 패시브/액티브 헬스체크를 결합한 다층적 방어 체계를 구축했다. 결과적으로 사용자에게 99.99% 수준의 가동률을 제공하며, 장애 발생 시 신속한 교체와 투명한 모니터링 로그를 지원한다.

배경

GPU 아키텍처 및 NVIDIA 드라이버 기초 지식, 클라우드 인프라 및 가상화 운영 경험, DCGM 및 NCCL 등 진단 도구에 대한 이해

대상 독자

대규모 GPU 인프라를 운영하거나 클라우드 GPU를 활용해 LLM 서비스를 구축하는 엔지니어 및 아키텍트

의미 / 영향

GPU 하드웨어의 높은 불확실성을 상수로 두고 소프트웨어 계층에서 이를 어떻게 관리할지에 대한 실무적 가이드를 제시한다. 이는 고비용 GPU 자원의 효율성을 극대화하고 서비스 안정성을 높이는 데 기여한다.

섹션별 상세

클라우드 공급자별로 인스턴스 신뢰성과 성능에 상당한 차이가 존재한다. Cloud A는 부팅 성공률이 99.6%로 높지만 H100 성능이 타사 대비 50% 낮았고, Cloud C는 H100의 발열 문제로 인해 온도가 94도까지 상승하며 성능이 절반으로 저하되는 현상이 관찰됐다. Modal은 modal-host-bench를 통해 이러한 편차를 수치화하고 내부 가격 정책에 반영한다.

머신 이미지(Machine Image)의 일관성과 최신성 유지가 성능의 핵심이다. 모든 클라우드에서 동일한 커널과 최신 NVIDIA 드라이버(580.95.05 버전 등)를 사용하도록 자동화된 빌드 파이프라인을 운영한다. 이미지 빌드 단계에서 DCGM 및 커스텀 테스트를 수행하여 워커 호스트와 게스트 컨테이너 모두의 정상 작동을 사전에 검증한다.

머신 이미지 버전별 롤아웃 현황을 보여주는 시계열 그래프이다. — Chart색상별로 다른 이미지 버전을 나타내며, 특정 버전(주황색)에서 문제가 발생했을 때 신속하게 이전 버전으로 롤백되는 과정을 시각적으로 보여준다. 이는 대규모 클러스터에서 이미지 관리의 중요성을 강조한다.

인스턴스 부팅 시에는 속도와 신뢰성 사이의 균형을 맞춘다. 전체 하드웨어 진단(dcgmi diag --run 4)은 1시간이 소요되므로 오토스케일링 효율을 저해한다. 따라서 부팅 시에는 systemctl 쿼리, nvidia-smi 확인, 무작위 GPU 읽기/쓰기 테스트 등 1분 내외의 가벼운 체크만 수행하여 사용자 컨테이너에 장애가 전달되는 것을 방지한다.

운영 중에는 패시브(Passive) 및 액티브(Active) 헬스체크를 병행한다. 패시브 체크는 dmesg와 dcgmi health를 통해 Xid 에러나 온도 위반을 실시간 모니터링한다. 액티브 체크는 매주 한 번씩 GPU 독점 권한을 확보하여 DCGM 레벨 2 진단, GPUBurn, NCCL 테스트 등을 수행해 NVLink 성능 저하나 하드웨어 결함을 정밀 감지한다.

사용자에게 투명한 가시성을 제공하기 위해 대시보드에 GPU 메트릭과 로그를 통합했다. 메모리, 사용률, 온도, 전력 소비량을 컨테이너 단위로 제공하며, 특히 gpu-health 로그를 통해 Xid 13과 같은 하드웨어 에러 발생 여부를 실시간으로 확인할 수 있게 지원하여 장애 대응 속도를 높였다.

Modal 대시보드에서 제공하는 GPU 사용률, 온도, 전력 소비량 메트릭 화면이다. — Screenshot사용자가 자신의 컨테이너가 사용하는 GPU의 상태를 실시간으로 모니터링할 수 있음을 보여준다. 특히 온도가 임계치를 넘는지 확인하여 성능 저하 원인을 파악하는 데 도움을 준다.

컨테이너 로그 스트림에서 감지된 Xid 13 에러 로그 화면이다. — Screenshot하드웨어 에러가 발생했을 때 시스템이 이를 감지하여 사용자 로그에 'gpu-health' 태그와 함께 출력하는 방식을 보여준다. 이를 통해 사용자는 모델 코드가 아닌 하드웨어 문제임을 즉시 인지할 수 있다.

실무 Takeaway

클라우드 공급자의 사양만 믿지 말고 직접 벤치마킹하여 실제 연산 성능(FLOPs)과 발열 특성에 따른 성능 저하 구간을 파악해야 한다.
부팅 지연을 최소화하기 위해 부팅 시에는 경량 체크만 수행하고, 심층 진단은 정기적인 액티브 헬스체크 스케줄링을 통해 보완하는 것이 운영 효율적이다.
GPU 장애는 CPU보다 훨씬 빈번하므로(Meta 사례 기준 58.7%), Xid 에러 로그를 자동 감지하여 즉시 호스트를 격리(Quarantine)하고 재설치하는 자동화 시스템이 필수적이다.

언급된 리소스

문서Modal GPU Utilization Guide

문서NVIDIA Xid Errors Dictionary