Mercedes-Benz의 Databricks Delta Sharing을 활용한 클라우드 간 데이터 공유 및 비용 최적화 사례

섹션별 상세

기존의 FTP나 이메일 기반 데이터 공유 방식은 보안이 취약하고 대규모 데이터셋 처리에 비효율적이었다. 특히 AWS와 Azure를 오가는 데이터 전송 비용이 비즈니스 확장에 큰 걸림돌로 작용했다.

Mercedes-Benz는 Unity Catalog와 Delta Sharing을 도입하여 클라우드 및 리전 간 데이터 공유를 중앙 집중화했다. 이 프로토콜은 데이터 복제 없이도 안전한 접근을 제공하며, 다양한 클라우드 환경 간의 상호 운용성을 보장한다.

비용 효율성을 위해 실시간 공유와 로컬 복제를 결합한 하이브리드 전략을 채택했다. Delta Deep Clone을 사용하여 변경된 데이터만 증분 업데이트함으로써 전체 데이터를 매번 복사할 필요 없이 로컬 스토리지에서 고속 쿼리가 가능해졌다.

DDX(Dynamic Data eXchange) 오케스트레이터와 Databricks Asset Bundles(DABs)를 통해 권한 관리와 배포를 자동화했다. 이를 통해 운영 오버헤드를 최소화하고 데이터 제품별 egress 비용을 정확히 추적하여 비용 거버넌스를 확립했다.

이 아키텍처는 데이터 최신성과 비용 사이의 균형을 맞추어 비즈니스 민첩성을 높였다. 데이터 업데이트 주기를 7일에서 2일로 단축함으로써 워런티 케이스 대응 등 실시간성이 중요한 업무의 효율이 크게 개선됐다.

기술

Databricks
Delta Sharing
Unity Catalog
Delta Lake
AWS
Azure
Delta Deep Clone

활용 사례

멀티 클라우드 데이터 공유
데이터 전송 비용 최적화
데이터 메쉬 구축
워런티 분석 및 제품 개선

언급된 리소스

튜토리얼Databricks 101: A Practical Primer