Amazon SageMaker AI 2025 연말 결산 2부: 관측성 개선 및 모델 커스터마이징·호스팅 기능 강화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Amazon SageMaker AI는 2025년 대규모 생성형 AI 워크로드의 운영 효율성을 높이기 위해 관측성, 사용성, 연결성 측면에서 중대한 업데이트를 단행했다. 인스턴스 및 컨테이너 단위의 정밀한 지표 제공과 롤링 업데이트 도입으로 배포 안정성을 확보했으며, 인프라 관리 부담을 없앤 서버리스 모델 커스터마이징 기능을 출시했다. 또한, HTTP/2와 WebSocket 기반의 양방향 스트리밍을 통해 실시간 음성 AI 구현을 지원하고 IPv6 및 PrivateLink 확장을 통해 엔터프라이즈 보안 요구사항을 충족했다. 이러한 기능들은 기업이 복잡한 인프라 설정 없이도 고성능 AI 모델을 안전하고 비용 효율적으로 배포할 수 있도록 돕는다.

배경

AWS SageMaker 기본 지식, Python 및 Boto3 SDK 사용법, 네트워킹(VPC, IPv4/v6) 기초 지식

대상 독자

AWS 기반 AI 인프라 운영자 및 LLM 서비스 개발자

의미 / 영향

SageMaker AI의 이번 업데이트는 AI 개발의 진입 장벽을 낮추는 동시에 운영의 정밀도를 높였다. 특히 서버리스 튜닝과 양방향 스트리밍은 기업들이 인프라 복잡성에 가로막혔던 실시간·특화 모델 서비스를 더 빠르게 시장에 출시할 수 있게 하는 촉매제가 될 것이다.

섹션별 상세

인스턴스 및 컨테이너 수준의 정밀한 관측성 강화: SageMaker AI는 기존 엔드포인트 단위의 집계 데이터에서 벗어나 인스턴스 및 컨테이너별 CPU, 메모리, GPU 사용량과 호출 성능(지연 시간, 오류, 처리량)을 추적하는 'Enhanced Metrics'를 도입했다. MetricsConfig 파라미터를 통해 10초에서 300초 사이의 게시 빈도를 설정할 수 있으며, 이를 통해 트래픽 불균형이나 특정 리소스의 병목 현상을 실시간으로 진단하고 자동 스케일링 정책과 연동할 수 있다.

python

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-config',
    ProductionVariants=[{...}],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60 # 지원 범위: 10, 30, 60, 120, 180, 240, 300
    }
)

SageMaker 엔드포인트에서 인스턴스 및 컨테이너 단위의 정밀 지표를 활성화하는 설정 예시

추론 컴포넌트를 위한 안전한 롤링 업데이트: 대규모 언어 모델(LLM) 배포 시 발생하는 리소스 제약을 해결하기 위해 인프라를 이중으로 구성할 필요가 없는 롤링 업데이트 방식을 도입했다. 새로운 모델 버전을 설정된 배치 단위로 순차 배포하며, Amazon CloudWatch 알람과 통합되어 이상 감지 시 자동으로 롤백을 수행함으로써 무중단 배포와 안정성을 동시에 확보한다.

인프라 관리 없는 서버리스 모델 커스터마이징: 모델과 데이터 크기에 따라 최적의 컴퓨팅 자원을 자동으로 할당하는 서버리스 튜닝 기능을 통해 인프라 관리 부담을 제거했다. Amazon Nova, DeepSeek, Llama 등 주요 모델을 지원하며, Supervised Fine-tuning(SFT)뿐만 아니라 RLVR, RLAIF와 같은 고급 강화학습 기법을 UI 또는 코드로 손쉽게 적용할 수 있고 MLflow를 통한 실험 추적도 기본 제공한다.

SageMaker Studio의 모델 관리 및 커스터마이징 UI 화면 — ScreenshotAmazon Nova, Llama 3.1, Qwen 등 다양한 기본 모델을 선택하고 UI를 통해 직접 미세 조정을 시작할 수 있는 통합 인터페이스를 보여준다. 'Customize model' 드롭다운 메뉴를 통해 UI 기반, AI 에이전트 기반, 코드 기반의 세 가지 커스터마이징 방식을 선택할 수 있음을 확인할 수 있다.

실시간 음성 AI를 위한 양방향 스트리밍 지원: 단일 영구 연결을 통해 데이터가 양방향으로 동시 흐르는 'Bidirectional Streaming' 기능을 도입하여 실시간 음성 에이전트 및 라이브 번역 서비스 구현을 가능하게 했다. HTTP/2 및 WebSocket 프로토콜을 활용하여 클라이언트와 모델 컨테이너 간의 지연 시간을 최소화하며, Deepgram의 Nova-3 모델과 같은 파트너 솔루션을 AWS Marketplace를 통해 즉시 배포할 수 있는 환경을 구축했다.

text

com.amazonaws.sagemaker.capabilities.bidirectional-streaming=true

사용자 지정 컨테이너에서 양방향 스트리밍 기능을 활성화하기 위해 설정해야 하는 Docker 레이블

엔터프라이즈 보안 및 네트워크 확장성 개선: 모든 리전에서 AWS PrivateLink 지원을 확대하여 공용 인터넷을 거치지 않고 VPC 내에서 안전하게 엔드포인트에 접근할 수 있도록 했으며, IPv6 및 듀얼 스택 지원을 통해 현대적인 네트워크 아키텍처 요구사항을 충족했다. 이는 엄격한 데이터 규정을 준수해야 하는 금융 및 공공 기관의 AI 도입 장벽을 낮추는 데 기여한다.

실무 Takeaway

리소스 효율성이 중요한 LLM 서비스 운영 시, Enhanced Metrics를 활성화하여 GPU 사용량과 지연 시간을 컨테이너 단위로 모니터링하고 비용 최적화 지점을 찾을 수 있다.
인프라 전문 인력이 부족한 팀은 SageMaker의 서버리스 커스터마이징 기능을 활용하여 복잡한 GPU 할당 고민 없이 RLVR 등 최신 강화학습 기법을 모델에 적용할 수 있다.
실시간 대화형 AI를 구축할 때 Bidirectional Streaming을 적용하면 기존의 요청-응답 방식보다 지연 시간을 획기적으로 줄이고 자연스러운 사용자 경험을 제공할 수 있다.

언급된 리소스

문서Amazon SageMaker AI Documentation

튜토리얼New serverless customization in Amazon SageMaker AI accelerates model fine-tuning

튜토리얼Introducing bidirectional streaming for real-time inference on Amazon SageMaker AI