EC2 Capacity Blocks 및 SageMaker 학습 계획을 통한 단기 GPU 용량 확보 가이드

섹션별 상세

01

GPU 자원의 희소성으로 인해 온디맨드 인스턴스 확보가 불확실해지면서 단기 예약을 통한 가용성 확보가 필수적이다. 기존 ODCR은 장기 계약이 없으면 비용 혜택이 없고 단기 워크로드에 부적합하므로 새로운 예약 옵션이 필요하다. 로드 테스트, 모델 검증, 기간 한정 워크숍 등 특정 시점에 반드시 자원이 필요한 경우 예약 방식을 권장한다.

02

인프라를 직접 제어해야 하는 경우 Amazon EC2 Capacity Blocks for ML을 사용하여 최대 8주 전부터 GPU를 예약할 수 있다. 1일에서 182일 사이의 기간을 선택할 수 있으며, 온디맨드 대비 40-50% 할인된 요금으로 P5, Trn1 등 최신 인스턴스를 확보한다. 하드웨어 장애 시에도 예약된 블록 내의 버퍼를 통해 인스턴스를 재시작할 수 있는 안정성을 제공한다.

03

관리형 환경을 선호한다면 Amazon SageMaker 학습 계획을 통해 인프라 관리 부담 없이 GPU 용량을 예약할 수 있다. 학습 작업, HyperPod 클러스터뿐만 아니라 추론 엔드포인트용으로도 예약이 가능하며 온디맨드 대비 최대 75%의 비용 절감 효과가 있다. 단, 특정 용도(학습/추론)로 구매한 계획은 다른 용도로 전용할 수 없으므로 구매 시 정확한 타겟 설정이 중요하다.

SageMaker 학습 계획 생성 시 타겟 서비스 및 인스턴스 설정 화면 — Screenshot학습 작업, HyperPod 클러스터, 추론 엔드포인트 중 하나를 타겟으로 선택하는 과정을 보여준다. 인스턴스 유형(예: ml.trn1.32xlarge)과 개수, 시작 날짜 및 기간을 입력하여 적절한 계획을 찾는 인터페이스를 설명한다.

사용 가능한 SageMaker 학습 계획 리스트와 가격 비교 표 — Screenshot조건에 맞는 여러 예약 플랜의 시작 시간, 기간, 총 가격을 한눈에 비교할 수 있음을 보여준다. '즉시 사용 가능(Immediately available)' 상태와 선결제 금액을 확인하여 최적의 플랜을 선택하는 단계를 시각화한다.

04

효율적인 자원 확보를 위해 인프라 관리 모델을 먼저 결정한 후 온디맨드 가용성을 먼저 확인하는 단계적 접근이 필요하다. 온디맨드 확보가 실패할 경우 지역 변경이나 시간대 조정을 시도하고, 시점의 확실성이 중요한 경우에만 예약 옵션을 선택한다. 특히 SageMaker 학습 계획은 선결제 방식이며 구매 후 취소가 불가능하므로 실제 실행 시간과 비용을 면밀히 비교해야 한다.

bash

aws sagemaker create-endpoint-config \
--endpoint-config-name your-endpoint-config-name \
--production-variants '[ {
  "VariantName": "your-variant-name",
  "ModelName": "your-model-name",
  "InitialInstanceCount": 1,
  "InstanceType": "ml.trn1.32xlarge",
  "CapacityReservationConfig": {
    "MlReservationArn": "your-training-plan-arn",
    "CapacityReservationPreference": "capacity-reservations-only"
  }
} ]'

예약된 SageMaker 학습 계획 리소스를 사용하도록 엔드포인트 설정을 생성하는 예시

인프라 관리 모델과 GPU 필요 여부에 따른 자원 선택 의사결정 트리 — Diagram사용자가 직접 인프라를 관리할지(EC2) 아니면 관리형 서비스(SageMaker)를 쓸지에 따라 경로를 나눈다. 각 경로에서 온디맨드 가용성, 중단 허용 여부, 일정 유연성을 체크하여 최종적으로 Capacity Blocks나 학습 계획을 선택하도록 안내한다.

용어 해설

온디맨드 용량 예약(On-Demand Capacity Reservations): — 특정 가용 영역에서 EC2 인스턴스 용량을 미리 확보하는 서비스이다. 장기 계약 없이 온디맨드 요금으로 청구되며, 주로 예측 가능한 정상 상태의 워크로드에 사용되나 단기 GPU 확보에는 비용 효율성이 낮을 수 있다.
ML용 용량 블록(Capacity Blocks for ML): — 미래의 특정 시점에 필요한 GPU 용량을 예약하고 선결제하는 방식이다. 온디맨드 대비 40-50% 저렴한 요금으로 1~182일간의 용량을 보장받을 수 있어 단기 프로젝트나 테스트에 적합하다.
SageMaker 학습 계획(SageMaker Training Plans): — SageMaker 관리형 환경에서 GPU 인스턴스 용량을 예약하는 기능이다. 인프라 관리 부담 없이 학습, HyperPod 클러스터, 추론 엔드포인트용 용량을 온디맨드 대비 70-75% 저렴하게 확보할 수 있다.
스팟 인스턴스(Spot Instances): — AWS의 유휴 자원을 최대 90% 저렴하게 사용하는 인스턴스 유형이다. AWS가 자원을 회수할 때 중단될 수 있으므로 체크포인트 저장이 가능한 분산 학습이나 배치 작업에 주로 활용된다.

기술

Amazon SageMaker AI
Amazon EC2
AWS Trainium
NVIDIA GPU
AWS CLI

활용 사례

모델 검증 및 로드 테스트
기간 한정 워크숍 및 교육 이벤트
신규 모델 출시 전 추론 용량 확보
체크포인트 기반의 대규모 분산 학습

언급된 리소스

문서Capacity Blocks for ML

문서Amazon SageMaker AI Pricing