Amazon SageMaker의 상세 관측성 메트릭 및 CloudWatch Insights 대시보드 활용

섹션별 상세

기존의 집계 메트릭만으로는 GPU 메모리 압력이나 KV 캐시 병목 등 LLM 특화 문제를 진단하기 어려웠다. SageMaker는 100개 이상의 상세 메트릭을 통해 GPU 상태, 토큰 수준 지연 시간, 엔진 압력 등을 세밀하게 추적한다.

python

import boto3
sm = boto3.client("sagemaker")

# Create endpoint config — observability turned on by default
response = sm.create_endpoint_config(
    EndpointConfigName="my-llm-config",
    ProductionVariants=[{
        "VariantName": "primary",
        "InstanceType": "ml.g6.4xlarge",
        "InitialInstanceCount": 2,
        "ManagedInstanceScaling": {
            "Status": "ENABLED",
            "MinInstanceCount": 2,
            "MaxInstanceCount": 8
        }
    }],
    ExecutionRoleArn="arn:aws:iam::123456789012:role/SageMakerExecutionRole"
)

SageMaker 엔드포인트 설정 시 상세 관측성(detailed observability)을 활성화하는 예시 코드입니다.

SageMaker 추론 엔드포인트에서 CloudWatch로 메트릭이 전송되는 아키텍처 다이어그램. — Diagram엔드포인트가 OpenTelemetry 메트릭을 CloudWatch로 보내고, SageMaker Insights 대시보드가 이를 시각화하는 전체 흐름을 보여준다.

근거

SageMaker는 GPU 상태, 토큰 수준 지연 시간, KV 캐시 압력 등을 포함한 100개 이상의 상세 추론 메트릭을 제공한다. — SageMaker inference observability overview 섹션

CloudWatch 내 SageMaker Insights 대시보드는 성능, 용량, 신뢰성 탭으로 구성되어 fleet 전체부터 개별 추론 컴포넌트까지 계층적 모니터링을 지원한다. 성능 탭에서는 TTFT와 ITL을 통해 스트리밍 응답 품질을 관리하고, 엔진 압력 패널로 KV 캐시 사용량을 실시간 확인한다.

CloudWatch 내 SageMaker Insights 대시보드의 성능, 용량, 신뢰성 탭 화면. — Screenshot대시보드가 제공하는 세 가지 핵심 모니터링 영역을 시각적으로 보여주며, 운영자가 fleet 상태를 어떻게 파악하는지 설명한다.

인스턴스별 성능 메트릭을 보여주는 허니콤(육각형) 시각화. — Chart각 인스턴스의 상태를 색상으로 구분하여 한눈에 fleet의 건강 상태를 파악하고, 특정 인스턴스를 드릴다운할 수 있음을 보여준다.

KV 캐시 사용량과 요청 수를 보여주는 엔진 및 요청 압력 패널. — Chart추론 엔진의 부하 상태를 시계열로 보여주며, KV 캐시 포화도를 통해 성능 병목을 조기에 감지하는 방법을 설명한다.

용량 및 신뢰성 탭은 GPU 메모리 및 디스크 사용량 추세를 시각화하여 리소스 부족을 사전에 방지하고, AZ별 인스턴스 분포를 통해 고가용성 상태를 점검한다. 콜드 스타트 분석 기능은 모델 다운로드, GPU 로드, 컨테이너 시작 단계를 분해하여 스케일링 지연 원인을 파악하게 돕는다.

콜드 스타트 이벤트를 단계별로 분해한 스택 바 차트. — Chart모델 다운로드, GPU 로드, 컨테이너 시작 등 각 단계별 소요 시간을 시각화하여 스케일링 지연의 근본 원인을 파악하는 방법을 보여준다.

PromQL 호환 엔드포인트를 제공하여 Grafana나 Datadog 등 기존 관측 도구와 즉시 연동할 수 있다. 사용자는 제공된 대시보드 템플릿을 가져와 커스텀 쿼리를 작성함으로써 기존 모니터링 파이프라인 내에서 SageMaker 메트릭을 통합 관리할 수 있다.

근거

PromQL 호환 엔드포인트를 통해 Grafana 등 외부 도구에서 SageMaker 메트릭을 직접 쿼리할 수 있다. — Connect to your own observability tool 섹션

용어 해설

관측 가능성(Observability): — 시스템의 내부 상태를 외부 출력(메트릭, 로그, 추적)을 통해 이해하고 진단하는 능력입니다. 복잡한 분산 시스템에서 성능 병목이나 장애 원인을 빠르게 파악하는 데 필수적입니다.
KV 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 키(Key)와 값(Value) 텐서를 메모리에 저장하는 기법입니다. 매 토큰 생성마다 전체 문맥을 재연산하지 않아도 되어 추론 속도를 획기적으로 높입니다.
PromQL: — Prometheus 모니터링 시스템에서 사용하는 쿼리 언어입니다. 시계열 데이터를 선택, 집계, 변환하여 대시보드 시각화나 알람 설정에 활용합니다.
첫 토큰 생성 시간(TTFT): — Time To First Token의 약자로, 사용자가 요청을 보낸 후 첫 번째 응답 토큰을 받기까지 걸리는 시간입니다. LLM 서비스의 체감 지연 시간을 결정하는 핵심 지표입니다.

기술

Amazon SageMaker
Amazon CloudWatch
OpenTelemetry
PromQL
vLLM
SGLang
Grafana

활용 사례

LLM 추론 성능 모니터링
추론 엔드포인트 병목 진단
멀티 모델 엔드포인트 리소스 최적화
고가용성 인프라 관리

언급된 리소스

문서Deploy models for real-time inference

문서Introducing OpenTelemetry PromQL support in Amazon CloudWatch

튜토리얼Getting started with detailed observability

Amazon SageMaker의 상세 관측성 메트릭 및 CloudWatch Insights 대시보드 활용

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

Amazon SageMaker AI용 추론 메타 모니터링

Amazon SageMaker HyperPod의 추론 데이터 캡처와 배포·운영 개선을 위한 기능 정리

Amazon SageMaker AI에 MLflow 통합을 추가해 추론 최적화 추천과 벤치마크 결과를 중앙에서 실시간 추적하도록 지원

Amazon SageMaker AI Studio에서 제공하는 생성형 AI 추론 최적화 권장 설정 UI

작동은 하지만 느린 에이전트의 성능 병목과 모니터링