hyperpod

SageMaker HyperPod은 다중 노드와 파드 기반으로 대형 모델 추론을 실행하도록 설계된 배포 단위로, 로드 밸런서와 모델 파드 사이의 트래픽 라우팅과 파드 수준의 보안·관측을 중앙에서 관리할 수 있게 해준다.