이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
데이터 엔지니어링 팀은 새 데이터 소스마다 ETL, 품질 검사, 의미 계층, 규제 통제를 수작업으로 작성하느라 수주를 소비합니다. AWS의 ADOP는 Amazon Bedrock과 Claude Code를 기반으로 Data Onboarding Agent가 전문 하위 에이전트를 생성하고, 자연어 요구사항을 Bronze·Silver·Gold 파이프라인과 결정론적 코드·정책 산출물로 변환합니다. 생성물은 사람이 승인한 뒤 CI/CD로 운영에 배포되며 기본 운영 환경에서는 모델을 호출하지 않아 비용과 감사 부담을 낮춥니다. 아키텍처 계약, 거버넌스 프롬프트, 비밀정보 격리, AgentTrace, Amazon Bedrock Guardrails를 함께 적용해 엔지니어별 구현 편차와 사후 규제 대응을 줄이지만, 생성된 규제·품질 로직은 법무와 엔지니어의 검증을 거쳐야 합니다.
섹션별 상세
새 데이터 소스를 추가할 때 데이터 엔지니어가 ETL 코드, 품질 검사, 의미 계층, 규제 검증을 각각 작성하면서 수주를 쓰는 문제가 ADOP의 출발점입니다. ADOP는 자연어로 소스 요구사항을 입력받아 Bronze에서 Silver, Gold로 이어지는 파이프라인과 관련 통제 산출물을 개발 환경에서 생성합니다. 자료의 수치에 따르면 수작업 ETL 기간을 주 단위에서 시간 단위로 줄이고 데이터 소스당 35~215시간의 엔지니어 시간을 되돌리는 것을 목표로 합니다.
ADOP는 운영 중 모델을 호출하는 런타임 의존성이 아니라 개발 시점의 build-time 가속기입니다. 에이전트가 PySpark, SQL, Airflow DAG, IAM·Cedar 정책 같은 산출물을 만들면 엔지니어가 승인하고 CI/CD가 결정론적 아티팩트를 스테이징과 운영으로 승격하며, 기본 운영 경로에서는 모델 추론이 발생하지 않습니다. 이 구조는 비용 예측 가능성과 감사 가능성을 높이면서도 필요할 경우 Amazon Bedrock 엔드포인트를 통한 런타임 추론을 별도로 확장할 수 있게 합니다.
일반적인 코딩 보조 도구는 같은 데이터 플랫폼에서도 엔지니어마다 다른 명명, 파티셔닝, 스키마, 품질 기준을 선택할 수 있지만 ADOP는 의도적으로 선택지를 좁힙니다. 조직의 표준과 설계 철학을 아키텍처 계약과 Decision Engine에 넣고, 모델이 새로운 청사진을 그리는 대신 이미 정해진 청사진을 채우도록 하위 에이전트와 정책을 제한합니다. 그 결과 개인의 기억이나 팀별 관행에 의존하던 온보딩을 하나의 반복 가능한 흐름으로 통일합니다.
Data Onboarding Agent는 Claude Code의 Dynamic Workflow를 통해 메타데이터 생성, 온톨로지 추론, 데이터 품질, ETL 변환, 오케스트레이션을 담당하는 전문 하위 에이전트를 생성합니다. 요구사항은 대화로 반복 보강되고 각 산출물은 AWS 배포 전에 로컬에서 검증되며, 사람의 승인을 거쳐 Bronze·Silver·Gold 계층과 의미 계층에 반영됩니다. AWS Glue, AWS Step Functions, Amazon Athena, Amazon Redshift 같은 서비스와 로컬 MCP 인터페이스를 조합할 수 있어 AWS 및 멀티클라우드 구성을 같은 계약 아래 운용할 수 있습니다.
규제 데이터 처리에서는 거버넌스 프롬프트, 비밀정보 분리, 데이터 격리, 관찰 가능성이 파이프라인 생성 과정에 함께 들어갑니다. 자격 증명은 에이전트 컨텍스트에 넣지 않고 배포 시 AWS Secrets Manager나 기존 보관소에서 해석하며, 에이전트는 원천 데이터 대신 스키마 메타데이터와 표본 통계를 사용하고 필요한 프로파일링은 격리된 샌드박스에서 수행합니다. AgentTrace가 의도·선택 도구·결과·비용을 기록하고 Amazon CloudWatch 또는 OpenTelemetry로 내보내므로 승인과 감사에 필요한 추적성을 확보합니다.
bash
git clone https://github.com/aws-samples/sample-Agentic-Ai-Data-Operations.gitADOP 참조 구현 저장소를 로컬 환경에 복제합니다.
text
/onboard-workflow
Onboard attendance data from s3://amzn-s3-demo-source-bucket/demo_landing/attendance.csv into Silver with dedup on (employee_id, check_in) and not-null policy on employee_id and check_in,and into a flat denormalized Gold Iceberg table aggregated daily-per-employee with derived measures(hours_worked_clean, attendance_rate, late_arrival_flag, overtime_hours, absence_category). Run daily at 03:00 UTC. Apply data governance controls: hash/pseudonymize PII fields in Silver, suppress or mask sensitive fields in Gold, enforce retention policies, and log processing metadata. Apply guidelines (This example is illustrative only and does not constitute compliance guidance.) Please profile the data first, then propose your recommended quality thresholds and transforms before generating any code.자연어 요구사항으로 출석 데이터를 Silver와 Gold 계층에 적재하고 품질·거버넌스 규칙을 생성하도록 요청하는 온보딩 프롬프트입니다.
ADOP 도입은 먼저 아키텍처 계약과 도구 기준을 정하는 데 시간을 투자한 뒤 저위험 데이터 소스로 검증하고 점진적으로 확대하는 방식입니다. 자료의 계획은 1~2주차 기반·아키텍처 결정, 3주차 첫 규제 소스와 파일럿, 4~6주차 추가 소스와 운영화, 2개월 이후 확장·운영 전환으로 이어지며 별도의 변화관리·교육·에스컬레이션 체계를 둡니다. 운영 전환 전에는 생성된 코드와 규제 통제를 엔지니어·법무·컴플라이언스 담당자가 확인해야 하며, Amazon Bedrock Guardrails의 콘텐츠 필터링, grounding 검증, 민감정보 필터가 모든 에이전트 호출과 산출물 생성 사이에서 추가 검증층으로 작동합니다.
용어 해설
- Bronze·Silver·Gold 데이터 계층(Bronze to Silver to Gold)
- — 원천 데이터를 Bronze에 저장한 뒤 ETL과 품질 검사를 거쳐 Silver로 정제하고, 분석과 ML에 사용할 Gold 계층으로 집계하는 데이터 파이프라인 구조입니다. ADOP는 이 전 과정을 자동화 대상에 포함합니다.
- 결정론적 아티팩트(Deterministic Artifacts)
- — AI 에이전트가 개발 환경에서 생성하고 사람이 승인한 뒤 운영에 배포하는 고정된 코드와 정책 산출물입니다. 운영 중 모델을 다시 호출하지 않아 결과를 감사하고 재현하기 쉽도록 구성됩니다.
- 아키텍처 계약(Architectural Contract)
- — 조직의 도구 라우팅 규칙, 기술 표준, Cedar 정책, 불변 조건, 규제 프롬프트를 한곳에 담은 설계 기준입니다. 여러 AI 코딩 도구가 같은 데이터 파이프라인 원칙을 따르게 만드는 핵심 통제 장치입니다.
- Dynamic Workflow
- — 상위 에이전트가 작업 단계에 따라 필요한 전문 하위 에이전트를 동적으로 생성하는 Claude Code 기능입니다. ADOP에서는 메타데이터, 온톨로지, 품질, ETL, 오케스트레이션 작업을 분리해 처리합니다.
- Model Context Protocol
- — AI 에이전트가 CLI나 MCP 서비스 같은 외부 도구와 연결되는 인터페이스입니다. ADOP는 이 계층을 활용해 AWS 외의 서비스와 하이브리드·멀티클라우드 환경으로 확장할 수 있습니다.
- Amazon Bedrock AgentCore 런타임(Amazon Bedrock AgentCore runtime)
- — 개발 환경에서 실행하던 에이전트를 규모에 맞춰 관리형 실행 환경으로 옮기는 Amazon Bedrock AgentCore의 기능입니다. ADOP는 런타임으로 전환해도 기존 아키텍처 계약을 유지하는 구조를 채택합니다.
기술
- Amazon Bedrock
- Claude Code
- Kiro
- Cursor
- Codex
- Dynamic Workflow
- PySpark
- SQL
- Airflow
- AWS Step Functions
- IAM
- Cedar
- Model Context Protocol
- MCP
- AWS Glue
- Amazon Athena
- Amazon Redshift
- Amazon S3
- Iceberg
- AgentTrace
- Amazon CloudWatch
- OpenTelemetry
- AWS Secrets Manager
- VPC
- Amazon Bedrock Guardrails
- CI/CD
활용 사례
- 자연어 기반 엔터프라이즈 데이터 소스 온보딩
- 의료·금융 분야의 규제 데이터 파이프라인 구축
- BI와 ML 기능을 위한 Gold 데이터 계층 자동 생성
- Claude Code, Kiro, Cursor, Codex를 위한 멀티도구 AI 개발 거버넌스
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 22.수집 2026. 08. 22.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
