Amazon Bedrock Knowledge Bases를 활용한 Ring의 글로벌 고객 지원 확장 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Ring은 기존 규칙 기반 챗봇의 한계를 극복하기 위해 Amazon Bedrock Knowledge Bases 기반의 RAG 시스템을 도입했다. 이 시스템은 메타데이터 필터링을 통해 단일 인프라에서 10개 이상의 국가별 맞춤형 정보를 제공하며, 수동 개입 없는 자동화된 콘텐츠 파이프라인을 갖추고 있다. 특히 'LLM-as-a-judge' 방식을 도입해 매일 새로운 지식 베이스 버전을 평가하고 최적의 버전을 운영 환경에 배포하는 워크플로우를 구현했다. 결과적으로 지역 추가 시 발생하는 인프라 비용을 21% 절감하면서도 7~8초 이내의 응답 지연 시간을 유지하는 데 성공했다.

배경

RAG(Retrieval-Augmented Generation) 기본 개념, AWS Lambda 및 S3 서비스 지식, 벡터 데이터베이스 및 임베딩에 대한 이해

대상 독자

글로벌 서비스를 운영하며 다국어 RAG 시스템의 비용 효율화와 자동화된 평가 체계를 구축하려는 AI 아키텍트 및 개발자

의미 / 영향

이 사례는 대규모 엔터프라이즈 환경에서 RAG 시스템을 운영할 때 단순한 구축을 넘어 '평가 자동화'와 '비용 최적화'가 얼마나 중요한지 보여준다. 특히 메타데이터 필터링을 통한 중앙 집중식 관리는 리소스 낭비를 줄이면서도 지역별 특수성을 유지할 수 있는 실질적인 설계 패턴을 제시한다.

섹션별 상세

기존 Amazon Lex 기반 규칙 시스템은 복잡한 문의 대응에 한계가 있었고, 상담원 연결률이 16%에 달해 운영 효율 개선이 시급했다. 정해진 대화 패턴 외의 다양한 고객 질문을 처리하지 못해 엔지니어들이 시스템 유지보수에 시간의 10%를 소모하는 병목 현상이 발생했다. 이를 해결하기 위해 유연한 응답 생성이 가능한 RAG 아키텍처로의 전환을 결정했다.

지역별 전압 규격이나 규제 등 상이한 정보를 처리하기 위해 contentLocale 태그를 활용한 메타데이터 필터링 기술을 적용했다. 단일 지식 저장소 내에서 각 국가에 맞는 데이터만 선별적으로 검색함으로써 지역별로 별도의 인프라를 구축할 필요를 없앴다. 이 방식은 영국, 독일 등 10개 이상의 지역에서 일관된 고객 경험을 제공하는 기반이 됐다.

python

## Metadata Filtering for Regional Content Targeting
num_results = 10
market = "en-GB"
knowledge_base_id = "A2BCDEFGHI"
user_text = "How can I replace the doorbell battery?"

# Configure Regional content filtering
vector_search_config = {"numberOfResults": num_results}
vector_search_config["filter"] = {
    "equals": {
        "key": "contentLocale",
        "value": market
    }
}

# Run Amazon Bedrock Knowledge Base search
response = boto3.client("bedrock-agent-runtime").retrieve(
    knowledgeBaseId=knowledge_base_id,
    retrievalQuery={"text": user_text},
    retrievalConfiguration={
        "vectorSearchConfiguration": vector_search_config,
    },
)

사용자의 지역(market) 정보를 기반으로 특정 언어 및 지역의 콘텐츠만 검색하도록 메타데이터 필터를 적용하는 예시

콘텐츠 관리 프로세스를 '수집 및 평가(Ingestion & Evaluation)'와 '승인(Promotion)' 단계로 분리하여 운영 안정성을 확보했다. 콘텐츠 팀이 S3에 문서를 업로드하면 Lambda가 자동으로 메타데이터를 추출하고 분류하여 지식 베이스 소스 버킷에 저장한다. 이러한 분리 구조는 운영 중인 시스템에 영향을 주지 않고 지속적인 데이터 업데이트와 품질 검증을 가능하게 한다.

Ring의 데이터 수집 및 평가 워크플로우를 보여주는 아키텍처 다이어그램 — Diagram콘텐츠 팀이 S3에 데이터를 업로드한 후 Lambda와 Step Functions를 거쳐 지식 베이스가 생성되고, 최종적으로 LLM-as-a-judge를 통해 품질이 검증되어 Golden Data Source로 승격되는 8단계 과정을 상세히 설명한다. 이 구조는 운영 환경에 배포하기 전 데이터의 품질을 보장하는 핵심 메커니즘을 시각화한다.

AWS Step Functions를 통해 매일 새로운 지식 베이스 버전을 생성하고 Anthropic Claude Sonnet 4를 판사(Judge)로 활용해 자동 평가를 수행한다. 평가 데이터셋을 기반으로 각 버전의 검색 정확도와 응답 품질을 비교 분석하며 결과는 Tableau 대시보드에 시각화된다. 가장 우수한 성능을 보인 버전은 'Golden Data Source'로 승격되어 실제 챗봇 서비스에 즉시 반영된다.

중앙 집중식 아키텍처를 채택하여 지역별 개별 인프라 배포를 제거함으로써 새로운 지역 확장 시 발생하는 비용을 기존 대비 21% 절감했다. 분석 결과 리전 간 지연 시간이 전체 응답 시간의 10% 미만임을 확인하여 비용 효율적인 중앙 집중형 모델을 선택할 수 있었다. 또한 최대 30일간의 버전 관리 기능을 통해 콘텐츠 오류 발생 시 즉각적인 롤백이 가능한 환경을 구축했다.

고객 쿼리 처리 및 응답 생성을 담당하는 프로모션 워크플로우 다이어그램 — Diagram사용자의 질문이 챗봇을 통해 들어오면 Lambda가 메타데이터 필터링을 적용해 지식 베이스에서 관련 정보를 검색하고, 이를 LLM에 전달해 최종 답변을 생성하는 4단계 실시간 추론 흐름을 보여준다. 검증된 Golden Data Source만을 사용하여 응답의 신뢰성을 높이는 과정을 설명한다.

실무 Takeaway

다국어 지원 RAG 시스템 구축 시 지역별 인프라를 개별 배포하는 대신, 메타데이터 필터링(contentLocale)을 활용한 중앙 집중식 구조를 채택해 비용과 운영 복잡성을 낮출 수 있다.
LLM-as-a-judge(Claude Sonnet 4)를 활용한 자동화된 평가 파이프라인을 구축하면 매일 업데이트되는 방대한 콘텐츠의 품질을 객관적으로 검증하고 최적의 모델 버전을 배포할 수 있다.
응답 지연 시간의 90% 이상이 모델 추론에서 발생하므로, 비용 최적화를 위해 지연 시간이 적은 중앙 집중식 아키텍처를 우선 고려하고 필요시 Cross-Region Inference를 활용해 처리량을 확보한다.

언급된 리소스

문서Amazon Bedrock Knowledge Bases Documentation