CRIU와 CUDA로 vLLM 추론 서버 복원 가속

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 AI 추론 서버를 매번 처음부터 시작하는 대신 실행 중인 상태를 checkpoint/restore해 준비 시간을 줄이는 실험을 진행했습니다. CRIU와 CUDA checkpointing을 사용해 H100에서 warmed Gemma 3 27B QAT와 vLLM 서버의 프로세스 트리, CUDA 상태, IPC·공유 메모리를 함께 복원했고, io_uring 경로를 처리하기 위해 CRIU를 수정했습니다. 측정 결과 cold start는 104.158초, restore는 11.060초로 time-to-ready가 9.4배 빨라졌습니다. 구현 글과 코드를 공개했지만 아직 실험 단계이며 vLLM·CUDA·CRIU·추론 인프라 분야의 피드백을 요청했습니다.

섹션별 상세

AI 추론 인프라에서 cold start는 모델과 서버를 처음부터 초기화해야 하므로 H100에서 warmed Gemma 3 27B QAT와 vLLM 서버를 준비하는 데 104.158초가 걸렸습니다. 작성자는 실행 상태를 저장한 뒤 CRIU와 CUDA checkpointing으로 복원하는 경로를 구성해 restore 시간을 11.060초로 낮췄습니다. 두 측정값을 기준으로 time-to-ready가 9.4배 빨라져 추론 서버 재가동 지연을 줄이는 접근으로 이어집니다.

이 방식은 단순히 vLLM 프로세스 하나를 되살리는 작업이 아니라 전체 vLLM 프로세스 트리와 CUDA 상태, IPC·공유 메모리를 함께 복원해야 하므로 구현 난도가 높았습니다. 특히 io_uring 처리 경로가 CRIU 기본 동작과 맞지 않아 작성자가 해당 경로를 지원하도록 CRIU를 패치했습니다. 구현 세부 사항과 벤치마크는 블로그 글에, 관련 코드는 edo-tensei 저장소에 공개돼 재현과 검토의 출발점을 제공합니다.

용어 해설

CRIU: — Linux 프로세스의 실행 상태를 저장하고 다른 시점에 복원하는 checkpoint/restore 도구입니다. 이 글에서는 vLLM 프로세스 트리와 IPC·공유 메모리 상태를 함께 저장해 추론 서버를 처음부터 다시 시작하지 않고 재가동하는 데 사용됐습니다.
CUDA 체크포인팅(CUDA Checkpointing): — GPU에서 실행 중인 CUDA 작업과 관련 상태를 저장한 뒤 복원하는 방식입니다. 모델 가중치와 서버 프로세스뿐 아니라 GPU 실행 상태까지 되살려 추론 서버의 준비 시간을 줄이는 핵심 요소로 쓰였습니다.
콜드 스타트(Cold Start): — 모델과 추론 서버를 아무런 실행 상태 없이 처음부터 초기화하는 과정입니다. 글의 H100 환경에서는 Gemma 3 27B QAT와 vLLM 서버가 준비되기까지 104.158초가 걸려 복원 방식과 비교 기준이 됐습니다.
io_uring: — Linux의 비동기 입출력 인터페이스로, 프로세스가 파일과 장치 입출력을 처리하는 경로에 관여합니다. CRIU 복원 과정에서 이 상태를 처리해야 했고, 작성자는 해당 경로를 지원하도록 CRIU를 수정했습니다.
QAT: — 모델의 양자화 인식 학습 또는 양자화 적용 구성을 가리키는 용어입니다. 이 글에서는 Gemma 3 27B QAT가 탑재된 warmed vLLM 서버를 실험 대상으로 삼아 콜드 스타트와 복원 시간을 비교했습니다.

언급된 도구

CRIU중립링크

Linux 프로세스 트리와 실행 상태를 checkpoint/restore하는 데 사용됐습니다.

CUDA중립

GPU 실행 상태를 checkpoint/restore하는 경로에 사용됐습니다.

vLLM중립

Gemma 3 27B QAT를 서비스하는 추론 서버로 사용됐습니다.

언급된 리소스

문서구현 및 벤치마크 글

GitHubedo-tensei