AWS Deep Learning AMI 및 컨테이너의 SOCI 스냅샷터를 활용한 컨테이너 콜드 스타트 시간 단축

섹션별 상세

대규모 AI 모델을 포함한 컨테이너 이미지는 수십 GB에 달해 전체 다운로드 및 압축 해제에 수분이 소요되며, 이는 GPU 유휴 시간 증가와 확장성 저하를 유발한다.

SOCI 스냅샷터는 컨테이너 이미지 내 파일 위치를 매핑하는 인덱스 시스템을 사용하여, 전체 이미지를 받기 전 필요한 데이터만 우선 로드하거나 여러 청크를 동시에 다운로드한다.

Docker 순차 풀, SOCI 병렬 풀, SOCI 지연 로딩 방식의 컨테이너 시작 시간 비교 차트이다. — Chart이 이미지는 세 가지 컨테이너 풀링 메커니즘의 작동 방식과 시작 시간 차이를 시각적으로 보여준다. 지연 로딩이 가장 빠른 시작 시간을 제공하며, 병렬 풀은 전체 이미지 로드 시 효율적임을 나타낸다.

DLAMI 및 Deep Learning Containers에서 SOCI 스냅샷터가 통합된 솔루션 아키텍처 다이어그램이다. — DiagramSOCI 스냅샷터가 EC2 인스턴스, Deep Learning AMI, 그리고 컨테이너 계층 사이에서 어떻게 통합되어 작동하는지 구조를 설명한다. Fuse, SOCI CLI, 컨테이너 클라이언트가 핵심 구성 요소임을 보여준다.

vLLM 컨테이너를 대상으로 한 테스트에서 지연 로딩 모드 적용 시 컨테이너 시작 시간이 6분 59초에서 21.1초로 단축되어 약 20배의 성능 향상을 기록했다.

bash

time docker run \
  --gpus all \
  -d \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HUGGING_FACE_HUB_TOKEN=$HUGGING_FACE_HUB_TOKEN" \
  -p 8000:8000 \
  --ipc=host \
  public.ecr.aws/deep-learning-containers/vllm:0.19.0-gpu-py312-ec2-soci \
  --model mistralai/Mistral-7B-v0.1

표준 Docker pull을 사용하여 컨테이너를 실행하는 명령어 예시

bash

time sudo nerdctl run \
  --snapshotter soci \
  --gpus all \
  -d \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HUGGING_FACE_HUB_TOKEN=$HUGGING_FACE_HUB_TOKEN" \
  -p 8000:8000 \
  --ipc=host \
  public.ecr.aws/deep-learning-containers/vllm:0.19.0-gpu-py312-ec2-soci \
  --model mistralai/Mistral-7B-v0.1

SOCI 스냅샷터를 사용하여 지연 로딩 모드로 컨테이너를 실행하는 명령어 예시

근거

지연 로딩 모드 적용 시 컨테이너 시작 시간이 6분 59초에서 21.1초로 단축되어 약 20배의 성능 향상을 기록했다. — Lazy loading mode 섹션의 벤치마크 결과

병렬 풀 모드는 전체 이미지를 다운로드해야 하는 I/O 집약적 워크로드에 적합하며, 테스트 결과 기존 4분 44초에서 2분 12초로 2.2배 빠른 이미지 풀 속도를 보였다.

text

[pull_modes.parallel_pull_unpack]
enable = true
max_concurrent_downloads = -1
max_concurrent_downloads_per_image = 20
concurrent_download_chunk_size = "16mb"
max_concurrent_unpacks = -1
max_concurrent_unpacks_per_image = 10
discard_unpacked_layers = true

SOCI 스냅샷터의 병렬 풀 모드를 활성화하기 위한 설정 파일 예시

근거

병렬 풀 모드는 기존 4분 44초에서 2분 12초로 2.2배 빠른 이미지 풀 속도를 보였다. — Parallel pull summary 섹션의 벤치마크 결과

AWS Deep Learning 컨테이너는 SOCI 인덱스가 사전 생성되어 제공되며, 사용자 정의 이미지는 SOCI 인덱스를 생성하여 등록해야 지연 로딩 기능을 활용할 수 있다.

용어 해설

Seekable OCI(SOCI): — 컨테이너 이미지의 레이어 기반 인덱싱을 통해 전체 이미지를 다운로드하지 않고 필요한 파일만 선택적으로 로드하거나 병렬로 다운로드할 수 있게 하는 기술이다.
지연 로딩(Lazy Loading): — 컨테이너 시작 시 전체 이미지를 다운로드하지 않고, 실행에 필요한 데이터만 즉시 로드한 뒤 나머지 데이터는 필요할 때 백그라운드에서 가져오는 방식이다.
컨테이너 이미지(Container Image): — 애플리케이션 실행에 필요한 코드, 런타임, 라이브러리, 설정 등을 포함한 불변의 패키지 파일이다.
콜드 스타트(Cold Start): — 컨테이너나 서버리스 함수가 실행되기 전, 이미지 다운로드 및 환경 설정 등으로 인해 발생하는 초기 대기 시간이다.

기술

SOCI
AWS Deep Learning AMI
AWS Deep Learning Containers
vLLM
Docker
nerdctl

활용 사례

AI 모델 추론 엔드포인트 배포
대규모 학습 작업 스케일링
GPU 클러스터 자동 확장

언급된 리소스

문서SOCI Index DLAMI

GitHubDeep Learning Container Repository

time docker run \ --gpus all \ -d \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HUGGING_FACE_HUB_TOKEN=$HUGGING_FACE_HUB_TOKEN" \ -p 8000:8000 \ --ipc=host \ public.ecr.aws/deep-learning-containers/vllm:0.19.0-gpu-py312-ec2-soci \ --model mistralai/Mistral-7B-v0.1

time sudo nerdctl run \ --snapshotter soci \ --gpus all \ -d \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HUGGING_FACE_HUB_TOKEN=$HUGGING_FACE_HUB_TOKEN" \ -p 8000:8000 \ --ipc=host \ public.ecr.aws/deep-learning-containers/vllm:0.19.0-gpu-py312-ec2-soci \ --model mistralai/Mistral-7B-v0.1

[pull_modes.parallel_pull_unpack] enable = true max_concurrent_downloads = -1 max_concurrent_downloads_per_image = 20 concurrent_download_chunk_size = "16mb" max_concurrent_unpacks = -1 max_concurrent_unpacks_per_image = 10 discard_unpacked_layers = true

AWS Deep Learning AMI 및 컨테이너의 SOCI 스냅샷터를 활용한 컨테이너 콜드 스타트 시간 단축

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

AWS Deep Learning AMI 및 컨테이너의 SOCI 스냅샷터를 활용한 컨테이너 콜드 스타트 시간 단축

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

Unsloth 동적 양자화로 AWS에 경량화된 대형 모델 배포하기

관련 토론

댓글

관련 기사

Unsloth 동적 양자화로 AWS에 경량화된 대형 모델 배포하기