Amazon SageMaker HyperPod의 추론 데이터 캡처와 배포·운영 개선을 위한 기능 정리

엔터프라이즈 추론 운영을 위한 HyperPod의 새로운 기능은 엔드포인트·ALB·모델 파드의 다중 지점에서 입력·출력을 캡처하는 기능을 CRD 기반으로 제공하고 커뮤니티 허브에서 모델을 사전 스테이징 없이 배포할 수 있게 하며 vLLM·TGI·SGLang 같은 런타임을 지원한다. 구현 측면에서는 노드 로컬 NVMe에서 가중치를 로드하고 필요 시 클라우드로 폴백하는 방식으로 콜드 스타트를 줄이며 파드 수준 IAM과 자동 DNS 관리를 통해 보안 경계를 세분화한다. 운영자는 S3 버킷과 적절한 IAM 권한을 준비하고 샘플링 비율, 버퍼 설정, content-type 처리 등을 통해 캡처 데이터의 범위와 비용을 조정할 수 있다.