Amazon SageMaker AI, OpenAI 호환 API 지원 시작

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Amazon SageMaker AI가 실시간 추론 엔드포인트에 OpenAI 호환 API 경로를 추가했다. 기존 OpenAI SDK, LangChain, Strands Agents를 사용하는 애플리케이션은 엔드포인트 URL 변경만으로 SageMaker AI 모델을 즉시 호출할 수 있다. Bearer 토큰 기반 인증을 통해 별도의 SigV4 서명이나 코드 재작성 없이 보안 연결이 가능하다. 단일 모델 엔드포인트와 추론 컴포넌트를 활용한 다중 모델 호스팅 환경 모두에서 동일한 인터페이스를 제공한다.

대상 독자

프로덕션 환경에서 LLM을 배포하고 운영하는 개발자

의미 / 영향

이 기능은 기존 OpenAI 생태계 도구와 SageMaker 인프라 간의 통합 장벽을 제거한다. 기업은 코드 변경을 최소화하면서 자체 인프라의 보안 및 확장성 이점을 누릴 수 있다.

섹션별 상세

SageMaker 엔드포인트가 /openai/v1 경로를 통해 OpenAI Chat Completions 요청을 수용하고 스트리밍 응답을 반환한다.

sagemaker.core.token_generator가 AWS 자격 증명을 기반으로 시간 제한이 있는 Bearer 토큰을 생성하여 별도의 API 키 관리 없이 인증을 처리한다.

추론 컴포넌트를 사용하면 단일 엔드포인트 내에서 여러 모델을 독립적인 리소스 할당으로 호스팅하고, 각 모델을 동일한 OpenAI SDK 인터페이스로 호출할 수 있다.

Strands Agents와 같은 에이전트 프레임워크를 활용할 때 데이터가 외부로 유출되지 않는 자체 인프라 환경에서 에이전트 워크플로를 실행할 수 있다.

언급된 리소스

문서Use SageMaker AI with OpenAI-compatible APIs