이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Couchbase의 Capella iQ는 단일 FM에 의존하지 않기 위해 Amazon Bedrock을 중심으로 하는 모델 비종속 추론 아키텍처를 채택했고, EKS에서 동작하는 cp-api가 VPC 인터페이스 엔드포인트를 통해 Bedrock으로 프라이빗하게 추론 요청을 전달하는 방식으로 구현되었다. cp-internal-api와 cp-ns는 모델 공급자 선택과 테넌트별 오버라이드를 처리하여 입력 프롬프트와 다중 턴 컨텍스트를 포함한 추론 페이로드를 조립하고 라우팅했다. VPC 엔드포인트는 Bedrock의 AWS 관리형 인프라로 트래픽을 전달하며 US 리전들 간 Cross-Region Inference를 통해 자동 페일오버와 부하 분산을 제공하여 사전 프로비저닝 없이도 높은 가용성과 운영 탄력성을 확보했다. 이 구성은 다양한 FM 제공자를 통합해 고객 배포 선호도에 대응하면서도 리전 장애와 트래픽 급증에 대한 복원력을 강화했다.
섹션별 상세
기업용 개발자 어시스턴트는 단일 LLM만으로는 쿼리 생성, 인덱스 추천, 다중 턴 대화 등 다양한 요구를 동시에 만족시키기 어려웠다. Couchbase는 Capella iQ의 사용량 증가와 고객별 배포 선호도를 충족하기 위해 여러 파운데이션 모델 공급자를 지원하는 모델 비종속 추론 아키텍처를 필요로 했다. 이러한 요구는 공급자 장애나 용량 한계에 따른 운영 위험을 줄이고자 하는 목적과 일치했다.
실제 운영 아키텍처는 AWS Control Plane 내에 위치한 EKS 클러스터에서 마이크로서비스들이 동작하고, cp-api가 개발자 요청을 수신해 프롬프트와 대화 이력을 결합한 추론 페이로드를 구성한 뒤 VPC 인터페이스 엔드포인트로 Bedrock 호출을 포워딩하는 흐름으로 구성되었다. cp-internal-api는 모델 공급자 선택과 라우팅 규칙을 결정하고 cp-ns는 테넌트별 설정과 조직 오버라이드를 관리하여 입력부터 모델 호출까지의 경로를 제어했다. 이 구조는 프라이빗 네트워크 경로를 유지하면서도 Bedrock을 통해 여러 모델 제공자에 대한 호출을 중앙에서 조정할 수 있게 했다.
근거
- VPC 인터페이스 엔드포인트는 EKS 클러스터에서 Amazon Bedrock 런타임으로의 프라이빗 연결을 제공하고 US 리전들 간 Cross-Region Inference를 지원한다. — Solution overview 단락 내 VPC 엔드포인트와 CRIS 관련 설명
가용성 확보를 위해 VPC 엔드포인트는 Bedrock 인프라로의 프라이빗 경로를 제공하고 US 리전들(us-east-1, us-east-2, us-west-2) 간 Cross-Region Inference 기능을 활용해 자동 페일오버와 부하 분산을 지원하도록 구성되었다. 이로 인해 사전 프로비저닝된 용량 없이도 트래픽 급증 시 자동으로 다른 리전의 런타임으로 요청을 라우팅할 수 있는 운영 탄력성이 확보되었다는 점이 문서에 명시되었다. 결과적으로 여러 FM 제공자와의 통합을 통해 유연성 및 고가용성 요구를 동시에 만족시킬 수 있었다.
용어 해설
- Amazon Bedrock
- — Amazon Bedrock은 관리형 추론 런타임을 제공하는 서비스로, VPC 인터페이스 엔드포인트를 통해 프라이빗 네트워크에서 안전하게 모델 호출을 전달할 수 있다. 이 글에서는 Bedrock이 Capella iQ의 모델 호출을 수신하고 Anthropic 등 외부 FM 제공자와의 통합 지점을 제공하는 인프라 역할을 수행했다는 점이 핵심이다. Bedrock은 리전 간 추론 라우팅과 고가용성 지원을 통해 운영 탄력성을 확보하는 데 사용되었다.
- VPC Interface Endpoint
- — VPC 인터페이스 엔드포인트는 EKS 클러스터 내부에서 외부 서비스로의 프라이빗 연결을 제공하는 네트워크 엔드포인트로, 퍼블릭 인터넷을 거치지 않고 서비스 호출을 전달한다. 본 사례에서는 cp-api가 Bedrock 런타임으로의 추론 요청을 이 엔드포인트로 포워딩하여 보안과 트래픽 제어를 확보했다. 엔드포인트는 리전 간 추론 라우팅을 지원하여 자동 장애조치와 부하분산을 가능하게 했다.
- Cross-Region Inference (CRIS)
- — 교차 리전 추론은 여러 AWS 리전 간에 추론 요청을 자동으로 라우팅하여 장애 발생 시 자동 페일오버와 트래픽 분산을 제공하는 기능이다. 문서에서는 us-east-1, us-east-2, us-west-2를 포함하는 CRIS 구성이 요청 폭주와 리전 장애에 대한 복원력을 제공했다고 기술되었다. 이 방식은 사전 프로비저닝된 용량 없이도 가용성을 유지하기 위해 사용되었다.
- Model-agnostic inference architecture
- — 모델 비종속 추론 아키텍처는 특정 파운데이션 모델 공급자에 종속되지 않고 여러 FM 제공자를 선택적으로 호출할 수 있도록 설계된 추론 계층을 의미한다. Capella iQ는 공급자별 라우팅과 테넌트별 오버라이드를 지원하는 cp-ns와 cp-internal-api를 통해 모델 독립성을 확보했다. 이 접근법은 운영 탄력성, 고객 배포 선호도 대응, 트래픽 급증 시 확장성 확보에 기여한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 21.수집 2026. 07. 21.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.