핵심 요약
Amazon Bedrock이 태국, 말레이시아, 싱가포르, 인도네시아, 대만 고객을 대상으로 Anthropic의 최신 모델인 Claude Opus 4.6, Sonnet 4.6, Haiku 4.5에 대한 글로벌 교차 리전 추론(CRIS) 지원을 시작했다. CRIS는 전 세계 20개 이상의 AWS 리전으로 추론 요청을 지능적으로 라우팅하여 높은 처리량과 복원력을 제공하며, 데이터는 소스 리전에 안전하게 유지된다. 이 기능은 자율 에이전트 및 금융 분석 시스템과 같은 대규모 프로덕션 환경에 최적화되어 있으며, 프롬프트 캐싱을 통해 비용을 최대 90%까지 절감할 수 있다.
배경
AWS 계정 및 Bedrock 접근 권한, IAM 정책 및 SCP 설정 지식, Python 및 boto3 SDK 사용 능력
대상 독자
AWS 기반 AI 애플리케이션 개발자 및 아키텍트
의미 / 영향
이번 업데이트로 동남아시아 기업들은 지리적 제약 없이 최신 LLM을 대규모로 배포할 수 있는 인프라를 갖추게 되었다. 특히 CRIS를 통한 비용 절감과 안정성 확보는 스타트업부터 엔터프라이즈까지 AI 에이전트 도입을 가속화할 것으로 보인다.
섹션별 상세
글로벌 교차 리전 추론(CRIS)은 단일 리전의 한계를 넘어 전 세계 AWS 인프라를 활용함으로써 더 높은 서비스 쿼터와 비용 효율성을 제공한다. 사용자는 싱가포르나 자카르타 같은 소스 리전에서 API를 호출하지만, 실제 연산은 가용 자원이 풍부한 다른 리전에서 수행되어 트래픽 급증 시에도 안정적인 서비스 유지가 가능하다. 특히 데이터 보관(Data at Rest)은 소스 리전에 머물러 보안 및 규정 준수 요구사항을 충족한다.
CRIS를 사용하기 위해서는 세 가지 주요 문을 포함하는 특정 IAM 정책 설정이 필수적이다. 소스 리전에서의 호출 권한, 해당 리전 내 모델 접근 권한, 그리고 'unspecified' 리전으로의 라우팅 권한을 모두 정의해야 한다. 또한 조직의 서비스 제어 정책(SCP)에서 'unspecified' 리전을 허용하도록 설정되어 있는지 확인하는 것이 프로덕션 배포 전의 핵심 단계이다.
Bedrock은 자원 할당의 공정성을 위해 분당 토큰(TPM)과 분당 요청(RPM) 쿼터를 적용한다. 특히 출력 토큰이 입력 토큰보다 5배 더 많은 쿼터를 소비하는 5:1 번다운 레이트를 적용하므로, 용량 계획 시 이를 반드시 고려해야 한다. 예를 들어 입력 1만 개와 출력 5천 개를 사용하는 요청은 실제로는 3만 5천 개의 토큰 쿼터를 소모하게 된다.
반복되는 시스템 프롬프트나 대규모 컨텍스트(500토큰 이상)를 사용하는 경우 프롬프트 캐싱 기능을 통해 비용을 최대 90%, 지연 시간을 85%까지 줄일 수 있다. 자주 사용되는 문서, 퓨샷(Few-shot) 예제, 도구 정의 등을 캐싱하여 정적 콘텐츠를 먼저 배치하는 구조로 프롬프트를 설계하는 것이 권장된다. 이는 RAG 시스템이나 긴 대화 기록을 유지하는 챗봇에서 특히 효과적이다.
가장 복잡한 추론과 자율 에이전트에는 '적응형 사고(Adaptive Thinking)'를 지원하는 Opus 4.6이 적합하며, 일반적인 프로덕션 에이전트 계획 및 실행에는 Sonnet 4.6이 권장된다. Haiku 4.5는 낮은 비용으로 높은 처리량을 제공하여 대규모 운영에 최적이다. 멀티 에이전트 아키텍처에서는 Opus나 Sonnet을 오케스트레이터로, Haiku를 실행 작업자로 조합하여 품질과 경제성을 동시에 확보할 수 있다.
CRIS를 사용하더라도 CloudWatch 메트릭, 로그, CloudTrail 감사 로그는 모두 소스 리전에 유지되어 기존 모니터링 워크플로우를 그대로 사용할 수 있다. 프로덕션 출시 전에는 실제 쿼터 소비량을 측정하기 위해 적응형 재시도 모드(Adaptive Retry Mode)를 설정한 로드 테스트가 필수적이다. 70~80% 쿼터 사용 시 알람을 설정하여 선제적으로 쿼터 증설을 요청하는 것이 안정적인 운영의 핵심이다.
이미지 분석
Claude Opus 모델에 대한 분당 토큰(TPM), 분당 요청(RPM) 등 다양한 서비스 쿼터 항목과 현재 적용된 값들을 보여준다. 사용자가 실제 콘솔에서 쿼터를 확인하고 증설을 요청하는 과정을 시각적으로 나타낸다.
Amazon Bedrock 서비스 쿼터 관리 화면 스크린샷.
</> 코드 예제 포함
실무 Takeaway
- 동남아시아 리전 사용자는 global. 접두사가 붙은 인프라 프로필 ID를 사용하여 최신 Claude 모델에 접근하고 더 높은 쿼터를 확보할 수 있다.
- 출력 토큰에 5배 가중치를 두는 쿼터 계산 방식(5:1)을 숙지하여 실제 서비스 규모에 맞는 쿼터 증설을 미리 신청해야 한다.
- 프롬프트 캐싱과 배치 추론(Haiku 4.5의 경우 50% 할인)을 적극 활용하여 운영 비용을 획기적으로 절감할 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료