ERGO Hestia, Databricks Lakebase로 실시간 가격 책정 엔진 현대화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

ERGO Hestia는 기존의 복잡한 다중 홉 아키텍처를 Databricks Lakehouse 기반의 통합 플랫폼으로 전환했다. 기존 Azure PostgreSQL과 어댑터 계층을 제거하고 Lakebase와 Mosaic AI Model Serving을 통해 데이터와 모델을 직접 서빙한다. 이 통합 구조는 Unity Catalog를 통해 전체 데이터와 모델의 계보를 추적하며, 실시간 가격 책정의 지연 시간을 20ms 수준으로 단축했다. 점진적 마이그레이션 전략을 통해 운영 중단 없이 시스템을 성공적으로 배포했다.

배경

Databricks Lakehouse 플랫폼, Delta Lake, Unity Catalog, MLflow

대상 독자

프로덕션 환경에서 실시간 모델 서빙과 데이터 파이프라인을 운영하는 데이터 엔지니어 및 아키텍트

의미 / 영향

이 사례는 데이터와 모델 서빙을 단일 플랫폼으로 통합하는 레이크하우스 아키텍처가 실시간 서비스의 성능과 운영 효율성을 어떻게 극대화할 수 있는지 보여준다. 특히 규제 산업에서 데이터 거버넌스와 성능을 동시에 달성해야 하는 기업들에게 실질적인 아키텍처 전환 모델을 제시한다.

섹션별 상세

기존 아키텍처는 Databricks에서 Azure PostgreSQL로 데이터를 추출하는 과정에서 병목과 거버넌스 파편화 문제가 발생했다.

기존의 다중 홉 아키텍처 다이어그램 — DiagramDatabricks에서 외부 PostgreSQL 데이터베이스를 거쳐 어댑터 애플리케이션으로 이어지는 기존의 복잡한 데이터 흐름을 보여준다. 이 구조가 왜 지연 시간과 운영 복잡성을 유발했는지 이해하는 근거가 된다.

Lakebase는 Delta 테이블과 서빙 계층을 실시간으로 동기화하여 외부 데이터베이스와 어댑터 계층을 제거했다.

현대화된 Lakehouse 기반 아키텍처 다이어그램 — DiagramUnity Catalog와 Lakebase를 중심으로 데이터와 모델 서빙이 통합된 새로운 구조를 보여준다. 외부 의존성을 제거하고 단일 플랫폼 내에서 모든 처리가 이루어지는 방식을 시각화한다.

Mosaic AI Model Serving은 모델을 직접 API로 노출하여 중간 처리 과정 없이 밀리초 단위의 응답 속도를 구현했다.

Unity Catalog는 데이터 처리부터 모델 서빙까지 전체 파이프라인의 계보를 추적하여 규제 산업에 필수적인 감사 추적을 자동화했다.

점진적 마이그레이션 전략은 PoC, 저위험 엔드포인트 배포, 트래픽 분할 단계를 거쳐 시스템 안정성을 확보했다.

근거

성능 테스트 결과 20ms 지연 시간과 5% 미만의 CPU 사용률을 기록했다. — Phase 1: Proof-of-Concept 섹션

용어 해설

Lakehouse: — 데이터 웨어하우스의 관리 기능과 데이터 레이크의 유연성을 결합한 데이터 아키텍처. 데이터 처리와 분석을 단일 플랫폼에서 통합 수행하여 데이터 사일로를 제거한다.
Online Feature Store: — 실시간 추론을 위해 피처 데이터를 저지연으로 조회할 수 있도록 저장하는 시스템. 모델 서빙 시 필요한 데이터를 즉시 제공하여 응답 속도를 최적화한다.
Model Serving: — 학습된 모델을 API 형태로 배포하여 실시간 예측 요청을 처리하는 인프라. 모델의 가용성과 확장성을 보장하며 추론 요청을 관리한다.
Lineage: — 데이터의 생성부터 변환, 최종 사용까지의 흐름을 추적하여 데이터의 출처와 변경 이력을 관리하는 기술. 규제 준수와 데이터 신뢰성 확보에 필수적이다.

기술

Databricks
Lakebase
Mosaic AI Model Serving
Unity Catalog
Delta Lake
Azure PostgreSQL
MLflow

활용 사례

실시간 가격 책정 엔진
온라인 피처 서빙
규제 산업 데이터 거버넌스