Amazon SageMaker AI 훈련 플랜을 활용한 추론 엔드포인트 GPU 용량 예약 및 배포

LLM 추론 배포 시 피크 시간대의 GPU 가용성 부족은 모델 평가나 프로덕션 테스트 지연의 주요 원인이다. Amazon SageMaker AI는 기존 학습용 자원 예약 도구인 훈련 플랜을 추론 엔드포인트까지 확장하여 특정 기간 동안 GPU 용량을 확정적으로 확보할 수 있게 했다. 사용자는 CLI나 콘솔을 통해 필요한 인스턴스와 기간을 검색하고 예약 ARN을 생성한 뒤, 이를 엔드포인트 설정의 CapacityReservationConfig에 연결하여 배포한다. 이 방식은 ml.p5.48xlarge와 같은 고성능 인스턴스를 안정적으로 사용하게 하며, 예약 만료 시 자동 중단 설정을 통해 비용 효율적인 인프라 운영을 지원한다.