Agentic AI를 위한 거버넌스된 서버리스 데이터 메시 구축

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트형 AI가 데이터베이스 스키마를 자동으로 발견하고 SQL을 생성해 여러 출처에서 정보를 합성하면 단일 시점의 RAG 검사만으로는 권한·거버넌스를 보장할 수 없다. 따라서 도구 탐색부터 쿼리 실행, 응답 합성에 이르는 전체 상호작용 체인에서 세밀한 접근 통제가 필요하다.

AWS의 제안 아키텍처는 세 가지 변경점을 결합해 이 문제를 해결한다. 첫째, 전용 벡터 DB 대신 Amazon S3 Vectors를 사용해 moderate query-frequency 환경에서 벡터 저장·조회 비용을 최대 90%까지 줄이는 비용 최적화를 달성한다. 둘째, 일반 S3 대신 Apache Iceberg 내장형 Amazon S3 Tables를 AWS Lake Formation으로 거버넌스해 자체 관리 Iceberg 대비 최대 10배 높은 TPS와 행·열·셀 수준의 세밀한 보안 정책을 적용한다. 셋째, 데이터 메시를 Model Context Protocol(MCP) 도구로 노출하고 AgentCore Gateway와 AWS Lambda 인터셉터를 통해 에이전트→도구 호출 시점마다 결정론적 접근 제어를 적용해 전체 파이프라인에 일관된 정책 집행을 보장한다.

이 조합은 비용·성능·거버넌스 간 균형을 바꿀 가능성이 있지만, 구현을 위해서는 IAM 권한·Lake Formation 정책·Bedrock/AgentCore 설정 등 AWS 권한·구성 요소의 사전 준비가 필수이며 운영 중 정책 적용 범위와 성능 트레이드오프를 검증해야 한다.

섹션별 상세

에이전트형 AI가 주문 데이터베이스를 자율적으로 조회하고 여러 출처에서 정보를 합성할 때 단일 시점의 RAG 기반 검사만으로는 권한·거버넌스를 보장할 수 없다. 에이전트는 스키마를 발견하고 SQL을 생성해 쿼리를 실행하며 응답을 합성하는 전체 파이프라인에서 세밀한 제어가 필요하며, 단순 벡터 검색 후 메타데이터 필터링 방식은 이런 복합 상호작용을 포괄하지 못한다. 원문은 RAG의 단일 체크포인트 접근이 거버넌스 격차를 남긴다고 지적하며, 따라서 도구 발견부터 쿼리 실행, 응답 합성에 이르는 전 구간에서 통제가 필요하다고 제시한다. 이는 민감 데이터 접근과 컴플라이언스 요구를 충족하려면 데이터 상호작용의 모든 단계에서 정책 집행이 필수임을 의미한다.

근거

에이전트가 데이터베이스 스키마를 자율적으로 탐색하고 SQL을 생성해 여러 소스로부터 데이터를 합성할 경우 RAG용으로 설계된 단일 체크포인트 거버넌스 모델은 부족하다. — 도입부 문단(에이전트형 AI가 스키마 발견·SQL 생성·데이터 합성 시 거버넌스 갭이 발생한다고 지적한 부분).

비용 효율적 지식 기반을 위해 Amazon OpenSearch Serverless 대신 Amazon S3 Vectors를 도입하면 벡터 저장 및 쿼리 비용을 절감할 수 있다. S3 Vectors는 S3의 저비용 스토리지에 벡터 기반 조회 기능을 결합해 전용 벡터 DB 대비 중간 수준의 쿼리 빈도에서 저장·조회 비용을 낮추는 방식으로 작동하며, 원문은 이러한 구성이 'moderate query-frequency workloads'에서 특화된 벡터 DB에 비해 최대 90%까지 비용을 줄일 수 있다고 명시한다. 비용 절감은 대규모 지식 기반을 유지하는 환경에서 운영 비용과 스케일링 전략을 바꿀 수 있다는 점에서 중요하다.

근거

Amazon S3 Vectors는 중간 수준 쿼리 빈도 워크로드에서 전문 벡터 데이터베이스 솔루션 대비 벡터 저장 및 쿼리 비용을 최대 90%까지 절감할 수 있다. — 본문 'three key changes'의 1번 항목(Replace OpenSearch Serverless with Amazon S3 Vectors).

데이터 저장·거버넌스 측면에서는 일반 S3 대신 Apache Iceberg 내장형 Amazon S3 Tables를 Lake Formation과 결합해 사용하면 처리량과 세밀한 접근 제어가 향상된다. S3 Tables는 테이블 트랜잭션을 최적화해 자체 관리 Iceberg 테이블 대비 초당 처리량이 최대 10배 높을 수 있으며, Lake Formation의 LF-Tags·데이터 필터를 통해 행·열·셀 수준의 세부 권한을 적용해 민감 칼럼을 보호한다. 또한 데이터 메시를 Model Context Protocol(MCP) 도구로 노출하고 AgentCore Gateway와 AWS Lambda 기반 인터셉터를 거치면 에이전트가 도구를 호출할 때마다 결정론적 접근 제어를 적용해 도구 발견부터 호출까지 일관된 거버넌스를 유지할 수 있다. 이 조합은 에이전트가 여러 소스에서 동적으로 데이터를 조합해도 규정 준수와 보안 경계를 유지하게 한다.

근거

Amazon S3 Tables(내장 Apache Iceberg)를 AWS Lake Formation으로 관리하면 자체 관리 Iceberg 테이블 대비 초당 처리량이 최대 10배 높아질 수 있으며 행·열·셀 수준의 보안이 가능하다. — 본문 'three key changes'의 2번 항목(Replace S3 with Amazon S3 Tables governed by AWS Lake Formation).
데이터 메시를 Model Context Protocol(MCP) 도구로 노출하고 AgentCore Gateway에 AWS Lambda 기반 인터셉터를 두면 에이전트의 각 도구 호출 시점에 결정론적 접근 제어를 적용할 수 있다. — 본문 'three key changes'의 3번 항목(Expose the data mesh as MCP tools through AgentCore Gateway with Lambda-backed interceptors).

용어 해설

검색 증강 생성(RAG): — 검색 결과(문서 청크)를 벡터 검색으로 찾아 모델 입력에 결합해 생성 응답을 만드는 방법론으로, 단순한 벡터 필터링 기반 접근은 에이전트가 데이터 소스들을 자율적으로 탐색해 쿼리·합성할 때의 보안·거버넌스 요구를 충족시키기 어렵다.
Amazon S3 Vectors: — S3에 벡터 인덱스 기능을 제공해 별도 벡터 DB를 대체하는 저장·조회 계층으로 설계되어 저장·쿼리 비용을 낮추고 S3의 내구성·저비용 스토리지를 활용해 지식 기반을 운영한다.
Amazon S3 Tables: — Apache Iceberg를 내장한 S3 기반 테이블 서비스로, 테이블 트랜잭션 처리량을 높이고 데이터 파티셔닝·스키마 관리를 제공하며 Lake Formation과 결합해 행·열·셀 수준의 세밀한 접근 제어를 가능하게 한다.
AWS Lake Formation: — 데이터 레이크의 중앙 권한·거버넌스 계층으로 LF-Tags와 데이터 필터를 통해 역할 기반·속성 기반의 세부 권한 관리와 감사 가능한 접근 제어를 제공해 민감 데이터 보호를 돕는다.
Model Context Protocol (MCP): — 모델이 외부 도구·데이터 소스와 상호작용할 때 도구 기능을 표준화해 호출과 응답을 규격화하는 프로토콜로, 도구 노출을 통제하고 에이전트의 도구 사용 행위를 관리하는 데 사용된다.