진정한 서버리스 GPU를 구현하는 방법

기존 클라우드 인프라에서 대규모 모델을 포함한 GPU 추론 서버를 구동하려면 인스턴스 할당부터 모델 로딩까지 수십 분의 시간이 소요되어 가변적인 수요에 대응하기 어려웠습니다. Modal은 이를 해결하기 위해 유휴 GPU를 미리 확보하는 클라우드 버퍼와 컨테이너 이미지를 지연 로딩하는 ImageFS를 도입했습니다. 또한 CRIU 기반의 CPU 메모리 스냅샷과 NVIDIA 드라이버를 활용한 GPU 메모리 스냅샷 기술을 통해 복잡한 초기화 과정을 건너뛰고 프로세스를 즉시 복구합니다. 이러한 최적화 결과 vLLM이나 SGLang 같은 추론 엔진의 부팅 속도가 최대 10배 이상 향상되었으며, 수천 개의 GPU를 사용하는 실무 환경에서 높은 자원 효율성과 낮은 지연 시간을 동시에 달성했습니다.