Databricks, Unity Catalog에 OpenTelemetry 트레이스 직접 수집 지원

섹션별 상세

01

AI 에이전트의 트레이스 데이터는 프롬프트, 도구 호출, 응답, 지연 시간 등 핵심 정보를 포함하지만, 기존 SaaS 관측 도구는 비용과 거버넌스 제약이 크다.

02

Databricks는 Zerobus Ingest를 통해 OpenTelemetry(OTel) 트레이스를 Unity Catalog의 Delta 테이블로 직접 수집하는 관리형 서버리스 파이프라인을 제공한다.

03

수집된 데이터는 Unity Catalog의 거버넌스 제어(PII 마스킹, 권한 관리)를 적용받으며, SQL 쿼리, 대시보드, MLflow 평가 도구와 즉시 연동된다.

04

데이터가 Delta 테이블에 저장되므로 SaaS 기반 관측 도구보다 비용 효율적인 장기 보관이 가능하고, 비즈니스 데이터와 결합한 심층 분석이 가능하다.

05

생산 환경의 트레이스 데이터를 활용해 평가 데이터셋을 구성하고, LLM Judge를 통해 모델 성능을 지속적으로 모니터링하고 개선하는 루프를 형성한다.

오픈텔레메트리(OpenTelemetry): — 분산 시스템에서 트레이스, 로그, 메트릭 데이터를 수집, 생성, 내보내기 위한 오픈 소스 표준 프레임워크. 다양한 언어와 플랫폼에서 일관된 관측성 데이터를 확보하는 데 사용된다.
유니티 카탈로그(Unity Catalog): — Databricks 플랫폼 내에서 데이터, AI 모델, 파일 등 모든 자산에 대한 거버넌스, 접근 제어, 계보 추적을 통합 관리하는 계층.
델타 레이크(Delta Lake): — 데이터 레이크하우스 아키텍처를 위한 오픈 소스 스토리지 계층. 데이터 레이크 위에서 ACID 트랜잭션과 확장 가능한 메타데이터 처리를 지원하여 신뢰성 있는 데이터 관리를 가능하게 한다.
엠엘플로우(MLflow): — 머신러닝 모델의 실험 추적, 코드 패키징, 모델 배포 및 모니터링을 지원하는 오픈 소스 플랫폼. AI 에이전트의 평가 및 관측성 워크플로를 통합하는 데 활용된다.