Aegis DQ: LLM 기반의 오픈소스 에이전트형 데이터 품질 프레임워크

섹션별 상세

데이터 품질 검증을 자동화하기 위해 LLM 에이전트가 계획, 병렬 검증, 진단, 복구 과정을 수행하는 파이프라인을 구축했다. 사용자가 규칙 파일을 제공하면 에이전트가 웨어하우스에 연결해 검증을 실행하고 실패 시 원인을 분석하여 보고서를 출력한다. 실제 데모에서 12개 규칙 검증과 진단에 약 7.1초가 소요되었으며 비용은 0.0056달러 수준으로 나타났다. 이는 수동 진단에 소요되는 시간을 줄이고 즉각적인 대응을 가능하게 한다.

Aegis DQ의 실행 과정을 보여주는 터미널 데모 애니메이션 — ScreenshotLLM이 데이터 검증 계획을 세우고 규칙을 실행한 뒤, 실패한 항목에 대해 근본 원인을 진단하고 복구 SQL을 제안하는 전체 워크플로를 시각적으로 보여줍니다. 검증 요약 정보와 함께 발생한 비용 및 소요 시간을 실시간으로 확인할 수 있음을 입증합니다.

근거

데모 실행 결과 12개 규칙 검증에 7.1초가 소요되었으며 비용은 약 $0.0056였다. — Demo 섹션의 실행 결과 텍스트

비즈니스 로직이 담긴 텍스트 파일을 LLM이 해석하여 데이터 검증 규칙으로 변환하는 기능을 제공한다. 사용자가 테이블 스키마와 정책 문서(KB)를 입력하면 LLM이 이를 분석해 accepted_values, foreign_key 등의 규칙을 YAML 형식으로 자동 생성한다. 이를 통해 수동으로 규칙을 작성할 때 발생하는 누락을 방지하고 도메인 지식을 코드화하는 과정을 간소화한다. 생성된 규칙은 초안 상태로 저장되어 사용자의 최종 검토 후 활성화될 수 있다.

yaml

- name: Validate data quality
  uses: aegis-dq/[email protected]
  with:
    rules-file: rules.yaml
    db: data/warehouse.duckdb
    anthropic-api-key: ${{ secrets.ANTHROPIC_API_KEY }}

GitHub Actions 워크플로에 Aegis DQ 데이터 품질 게이트를 추가하는 예시

GitHub Actions와의 긴밀한 통합을 통해 CI/CD 파이프라인에서 데이터 품질 게이트 역할을 수행한다. 워크플로 파일에 몇 줄의 설정만 추가하면 푸시나 풀 리퀘스트 시점에 데이터 품질을 자동으로 검사하고 실패 시 빌드를 중단시킨다. API 키가 없는 환경을 위해 LLM 진단을 제외한 오프라인 검증 모드도 지원한다. 이를 통해 손상된 데이터가 프로덕션 환경에 도달하기 전에 차단하는 안전장치를 마련할 수 있다.

bash

aegis generate orders \
  --db warehouse.duckdb \
  --kb docs/orders_policy.md \
  --output orders_rules.yaml

테이블 스키마와 비즈니스 지식(KB) 파일을 기반으로 LLM이 규칙을 자동 생성하도록 실행하는 명령

용어 해설

데이터 계약(Data Contract): — 데이터 공급자와 소비자 간에 데이터의 구조, 품질, 의미론적 기대를 정의한 상호 합의입니다. Aegis DQ는 이를 검증하여 데이터 파이프라인의 신뢰성을 보장합니다.
근본 원인 분석(Root Cause Analysis (RCA)): — 데이터 품질 오류가 발생했을 때 단순한 증상 파악을 넘어 문제의 핵심 원인을 찾아내는 과정입니다. LLM을 활용해 오류 로그와 스키마를 분석하여 구체적인 발생 이유를 설명합니다.
모델 컨텍스트 프로토콜(Model Context Protocol (MCP)): — AI 모델이 외부 데이터 소스나 도구와 표준화된 방식으로 통신할 수 있게 하는 프로토콜입니다. Claude Desktop 등에서 Aegis DQ를 도구로 직접 호출할 수 있게 지원합니다.
에이전트형 파이프라인(Agentic Pipeline): — 단순한 순차 실행이 아니라 LLM 에이전트가 계획 수립, 병렬 검증, 진단, 복구 SQL 생성 등을 자율적으로 판단하고 수행하는 워크플로입니다.

근거 모음

근거

Aegis DQ는 31가지 규칙 유형과 6개의 웨어하우스 어댑터를 지원한다. — Features 섹션 및 Warehouse adapters 표

기술

Python
DuckDB
Anthropic Claude
OpenAI
Ollama
AWS Bedrock
LangGraph
GitHub Actions
dbt
Airflow

활용 사례

CI/CD 파이프라인 내 데이터 품질 게이트
데이터 오류 자동 진단 및 SQL 복구
비즈니스 정책 기반 검증 규칙 자동 생성
데이터 웨어하우스 상태 모니터링

언급된 리소스

GitHubAegis DQ GitHub Repository