Databricks, Unity Catalog에 OpenTelemetry 트레이스 직접 수집 지원

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

AI 에이전트가 생성하는 방대한 트레이스 데이터를 기존 관측 도구에서 처리할 때 발생하는 비용과 거버넌스 문제를 해결한다. Databricks는 OpenTelemetry 표준을 활용해 트레이스를 Unity Catalog의 Delta 테이블로 직접 수집하는 관리형 파이프라인을 제공한다. 이 방식은 데이터 주권을 유지하면서 SQL 기반의 분석, 대시보드 구축, MLflow를 통한 평가 워크플로를 통합한다. 결과적으로 생산 환경의 트레이스 데이터를 즉시 활용하여 모델 성능을 지속적으로 개선하는 피드백 루프를 구축한다.

배경

Databricks 계정 및 Unity Catalog 설정, OpenTelemetry 기반의 에이전트 계측(Instrumentation) 지식, MLflow 사용 경험

대상 독자

프로덕션 환경에서 AI 에이전트를 운영하고 관측성을 확보하려는 데이터 엔지니어 및 ML 엔지니어

의미 / 영향

이 기능은 AI 에이전트의 관측성 데이터를 데이터 레이크하우스 내부에 통합하여, 별도의 SaaS 도구 없이도 보안과 거버넌스를 준수하며 심층적인 분석과 평가를 가능하게 한다. 이는 기업이 AI 워크플로를 프로덕션 수준으로 확장할 때 발생하는 비용과 운영 복잡성을 획기적으로 줄여준다.

섹션별 상세

AI 에이전트의 트레이스 데이터는 프롬프트, 도구 호출, 응답, 지연 시간 등 핵심 정보를 포함하지만, 기존 SaaS 관측 도구는 비용과 거버넌스 제약이 크다.

Databricks는 Zerobus Ingest를 통해 OpenTelemetry(OTel) 트레이스를 Unity Catalog의 Delta 테이블로 직접 수집하는 관리형 서버리스 파이프라인을 제공한다.

Databricks Lakehouse 플랫폼 내 OpenTelemetry 트레이스 수집 아키텍처 다이어그램. — DiagramAI 에이전트에서 생성된 OpenTelemetry 신호가 Zerobus Ingest를 거쳐 Unity Catalog 테이블로 저장되고, 이후 분석, 평가, 최적화로 이어지는 데이터 흐름을 보여준다.

Unity Catalog에 저장된 OpenTelemetry 관련 테이블 목록. — Screenshot트레이스, 로그, 메트릭, 어노테이션 등 다양한 관측성 데이터를 저장하는 Unity Catalog 테이블 구조를 보여준다.

근거

Databricks는 Zerobus Ingest를 통해 OpenTelemetry 트레이스를 Unity Catalog로 직접 수집하는 관리형 파이프라인을 제공한다. — Architecture: Serverless OpenTelemetry ingestion 섹션

수집된 데이터는 Unity Catalog의 거버넌스 제어(PII 마스킹, 권한 관리)를 적용받으며, SQL 쿼리, 대시보드, MLflow 평가 도구와 즉시 연동된다.

AI 에이전트의 성능 분석 지표 대시보드. — Chart에이전트의 처리량, 에러율, 지연 시간 등 생산 환경에서의 성능 지표를 시각화하여 모니터링하는 모습을 보여준다.

Unity Catalog 내 트레이스 데이터 테이블 예시. — Screenshot실제 트레이스 데이터가 Delta 테이블 형식으로 저장되어 SQL 쿼리가 가능한 상태임을 보여준다.

근거

Unity Catalog에 저장된 트레이스는 fine-grained access controls, column masking, row-level filtering을 지원한다. — Governance in Unity Catalog 섹션

데이터가 Delta 테이블에 저장되므로 SaaS 기반 관측 도구보다 비용 효율적인 장기 보관이 가능하고, 비즈니스 데이터와 결합한 심층 분석이 가능하다.

생산 환경의 트레이스 데이터를 활용해 평가 데이터셋을 구성하고, LLM Judge를 통해 모델 성능을 지속적으로 모니터링하고 개선하는 루프를 형성한다.

용어 해설

OpenTelemetry: — 분산 시스템에서 트레이스, 로그, 메트릭 데이터를 수집, 생성, 내보내기 위한 오픈 소스 표준 프레임워크. 다양한 언어와 플랫폼에서 일관된 관측성 데이터를 확보하는 데 사용된다.
Unity Catalog: — Databricks 플랫폼 내에서 데이터, AI 모델, 파일 등 모든 자산에 대한 거버넌스, 접근 제어, 계보 추적을 통합 관리하는 계층.
Delta Lake: — 데이터 레이크하우스 아키텍처를 위한 오픈 소스 스토리지 계층. 데이터 레이크 위에서 ACID 트랜잭션과 확장 가능한 메타데이터 처리를 지원하여 신뢰성 있는 데이터 관리를 가능하게 한다.
MLflow: — 머신러닝 모델의 실험 추적, 코드 패키징, 모델 배포 및 모니터링을 지원하는 오픈 소스 플랫폼. AI 에이전트의 평가 및 관측성 워크플로를 통합하는 데 활용된다.