진정한 서버리스 GPU를 구현하는 방법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

기존 클라우드 인프라에서 대규모 모델을 포함한 GPU 추론 서버를 구동하려면 인스턴스 할당부터 모델 로딩까지 수십 분의 시간이 소요되어 가변적인 수요에 대응하기 어려웠습니다. Modal은 이를 해결하기 위해 유휴 GPU를 미리 확보하는 클라우드 버퍼와 컨테이너 이미지를 지연 로딩하는 ImageFS를 도입했습니다. 또한 CRIU 기반의 CPU 메모리 스냅샷과 NVIDIA 드라이버를 활용한 GPU 메모리 스냅샷 기술을 통해 복잡한 초기화 과정을 건너뛰고 프로세스를 즉시 복구합니다. 이러한 최적화 결과 vLLM이나 SGLang 같은 추론 엔진의 부팅 속도가 최대 10배 이상 향상되었으며, 수천 개의 GPU를 사용하는 실무 환경에서 높은 자원 효율성과 낮은 지연 시간을 동시에 달성했습니다.

배경

컨테이너 가상화(Docker, gVisor)에 대한 이해, CUDA 및 GPU 추론 엔진(vLLM 등)의 작동 원리, Linux 파일시스템 및 메모리 관리 기초 지식

대상 독자

프로덕션 환경에서 GPU 추론 비용과 지연 시간을 최적화하려는 ML 엔지니어 및 인프라 아키텍트

의미 / 영향

이 기술은 GPU 자원의 유연한 확장을 가능케 하여 고비용의 GPU 상시 할당 부담을 줄여줍니다. 특히 스파이크성 트래픽이 발생하는 서비스에서 비용 효율성을 극대화하면서도 사용자 경험을 해치지 않는 서버리스 추론 환경을 구축할 수 있는 기술적 토대를 제공합니다.

섹션별 상세

GPU 할당 및 헬스 체크 지연을 제거하기 위해 유휴 상태의 건강한 GPU를 미리 확보해두는 클라우드 버퍼 시스템을 운영합니다. 이를 통해 새로운 복제본이 필요할 때 즉시 스케줄링이 가능하며, 인스턴스 생성에 소요되는 수 분에서 수십 분의 시간을 핫 패스에서 제외할 수 있습니다.

기본 클라우드 시스템과 Modal의 추론 서버 스케일업 지연 시간 비교 다이어그램 — Diagram기존 방식이 약 2,000초가 소요되는 반면, Modal은 클라우드 버퍼, 커스텀 FS, 메모리 스냅샷 등을 단계적으로 적용하여 이를 0.05ksec(50초) 이하로 단축함을 보여줍니다. 각 기술 요소가 전체 지연 시간 단축에 기여하는 비중을 시각적으로 나타냅니다.

시간에 따른 시뮬레이션된 추론 트래픽 패턴 그래프 — Chart추론 수요가 계절적 변동성과 갑작스러운 스파이크를 동반함을 보여주며, 왜 고정된 할당 방식보다 서버리스 방식이 효율적인지에 대한 배경 근거를 제시합니다.

컨테이너 시작 시 수 기가바이트의 데이터를 모두 로드하는 대신 메타데이터만 먼저 읽고 실제 데이터는 필요할 때 불러오는 ImageFS 커스텀 파일시스템을 사용합니다. libfuse 기반의 이 시스템은 다중 계층 캐시를 활용하여 컨테이너 시작 시간을 약 1분가량 단축하며, 전체 파일의 극히 일부만 사용하는 추론 작업의 특성을 이용합니다.

커스텀 컨테이너 파일시스템 적용 시의 지연 시간 단축 효과 — Diagram커스텀 파일시스템(ImageFS)을 적용했을 때 부팅 지연이 약 33%(300초에서 200초) 감소함을 나타내며, 데이터 로딩 최적화의 중요성을 강조합니다.

import torch와 같은 무거운 라이브러리 로딩 과정을 건너뛰기 위해 gVisor의 runsc를 활용한 CPU 메모리 스냅샷 기술을 적용했습니다. 실행 중인 프로세스의 힙과 스레드 상태를 스냅샷으로 저장하고 이를 메모리에 직접 복구함으로써 호스트 측 초기화 시간을 약 10배 단축합니다.

가장 많은 시간이 소요되는 GPU 측 초기화(CUDA 그래프 캡처, 컴파일 등)를 해결하기 위해 NVIDIA 드라이버의 기능을 활용한 GPU 메모리 스냅샷을 구현했습니다. 장치 메모리 상태를 호스트 메모리를 거쳐 디스크에 저장하고 복구함으로써 vLLM 기준 평균 부팅 지연을 95초에서 13초 수준으로 줄이는 성과를 거두었습니다.

실무 Takeaway

가변적인 추론 수요에 대응하려면 GPU 할당Utilization을 높여야 하며, 이를 위해 콜드 스타트 지연을 초 단위로 줄이는 서버리스 아키텍처 도입이 필수적입니다.
컨테이너 이미지 전체를 다운로드하는 대신 레이지 로딩(Lazy Loading)과 콘텐츠 주소 지정 캐시를 결합하면 네트워크 병목을 줄이고 즉각적인 실행이 가능합니다.
vLLM이나 SGLang처럼 초기화가 무거운 엔진은 메모리 스냅샷(Checkpoint/Restore) 기술을 적용하여 수 분의 대기 시간을 10~20초 내외로 단축할 수 있습니다.

언급된 리소스

논문Slacker: Fast Distribution with Lazy Docker Containers

논문To FUSE or Not to FUSE