Amazon SageMaker AI, 컨테이너 캐싱으로 모델 스케일링 속도 향상

섹션별 상세

기존 스케일링 과정은 인스턴스 프로비저닝, 컨테이너 이미지 다운로드, 모델 아티팩트 다운로드, 컨테이너 시작 순으로 진행되며, 특히 이미지 다운로드가 병목 현상을 유발했다.

컨테이너 캐싱은 새로운 인스턴스 시작 시 Amazon ECR에서 이미지를 다시 가져오는 단계를 제거하여 네트워크 대역폭 경합을 줄인다.

Qwen3-8B 모델을 ml.g6.2xlarge 인스턴스에서 실행할 때, 컨테이너 캐싱 적용 전 525초였던 시작 지연 시간이 적용 후 258초로 약 51% 감소했다.

근거

캐시된 이미지를 사용할 수 없는 경우 자동으로 ECR에서 이미지를 가져오는 폴백 메커니즘이 작동하여 스케일링 프로세스의 안정성을 보장한다.

이번 업데이트는 기존의 서브 미닛 메트릭스, 추론 컴포넌트 데이터 캐싱과 결합하여 스케일 아웃의 모든 단계에서 지연 시간을 최적화한다.

컨테이너 캐싱(Container Caching): — 컨테이너 이미지를 로컬에 저장하여 재사용하는 기술입니다. 인스턴스 시작 시 이미지 다운로드 단계를 생략하여 스케일링 지연 시간을 획기적으로 단축합니다.
콜드 스타트(Cold Start): — 서비스나 인스턴스가 처음 시작될 때 발생하는 지연 시간입니다. 컨테이너 이미지 다운로드 및 모델 로딩 과정에서 주로 발생하며, 생성형 AI 서비스의 응답성에 영향을 미칩니다.
오토 스케일링(Auto Scaling): — 트래픽 변화에 따라 인스턴스 수를 자동으로 조절하는 기능입니다. SageMaker AI에서는 서브 미닛 메트릭스를 통해 스케일링 결정을 더 빠르게 수행합니다.