Databricks Native Lakehouse Sync 공개 프리뷰: 파이프라인 없는 실시간 데이터 동기화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Databricks는 운영 데이터베이스인 Lakebase의 데이터를 레이크하우스로 직접 복제하는 Native Lakehouse Sync의 공개 프리뷰를 발표했습니다. 기존의 CDC 방식은 복잡한 파이프라인과 외부 컴퓨팅 자원이 필요했으나, 이 기능은 Lakebase와 레이크하우스가 동일한 클라우드 스토리지를 공유한다는 점을 활용해 데이터 이동을 데이터베이스의 고유 속성으로 통합했습니다. 이를 통해 사용자는 스키마 수준의 토글 하나만으로 1분 이내에 동기화를 설정할 수 있으며, Postgres 성능 저하나 추가 비용 없이 실시간 데이터 복제가 가능합니다. 결과적으로 AI 에이전트와 ML 모델이 최신 운영 데이터에 즉각적으로 접근할 수 있는 환경을 제공합니다.

배경

Databricks Lakebase 사용 권한, Unity Catalog에 대한 기본 지식, Delta Lake 또는 Apache Iceberg 데이터 형식 이해

대상 독자

데이터 엔지니어, ML 엔지니어, 운영 데이터와 레이크하우스 통합을 관리하는 아키텍트

의미 / 영향

이 기술은 운영 DB와 분석 플랫폼 사이의 장벽을 허물어 실시간 AI 애플리케이션 개발 속도를 획기적으로 높입니다. 특히 복잡한 ETL 관리 없이도 최신 운영 데이터를 ML 모델 학습 및 추론에 즉시 활용할 수 있게 함으로써 데이터 기반 의사결정의 시차를 제거합니다.

섹션별 상세

기존의 CDC 스택은 에이전트 중심의 워크로드에서 발생하는 빈번한 브랜칭과 가변적인 쿼리 볼륨을 감당하기 어렵습니다. 기존 방식은 매일 배치 덤프를 수행하거나 복잡한 Debezium 커넥터 및 스트림 처리 엔진을 설정해야 하며, 이는 스키마 드리프트와 다수의 실패 지점을 유발합니다. Native Lakehouse Sync는 이러한 복잡성을 제거하여 에이전트가 짧은 주기로 환경을 생성하고 삭제하는 현대적 개발 흐름을 지원합니다.

전통적인 운영 데이터베이스 중심의 데이터 이동 아키텍처 다이어그램 — Diagram운영 데이터베이스에서 BI, 검색 엔진, 피처 파이프라인 등 각 목적지로 데이터가 이동하기 위해 개별적인 배치 또는 CDC 파이프라인이 필요한 복잡한 구조를 보여줍니다. 이는 기사에서 지적하는 '파이프라인 중심 방식'의 한계와 관리 부담을 시각적으로 설명합니다.

Lakebase는 운영 데이터베이스(OLTP)와 분석 플랫폼(OLAP)이 동일한 저비용 클라우드 스토리지를 공유하도록 설계되었습니다. 시스템이 Write-Ahead-Log(WAL)를 직접 해독하여 Unity Catalog 관리형 테이블로 기록하기 때문에 별도의 ETL 파이프라인이 필요하지 않습니다. 이 구조는 데이터 이동 시 발생하는 지연을 최소화하고 인프라 관리 부담을 획기적으로 줄여줍니다.

Native Lakehouse Sync를 적용한 통합 데이터 아키텍처 다이어그램 — DiagramLakebase가 Unity Catalog 관리형 테이블과 직접 연결되어, 단일 소스에서 BI, 검색, 피처 서빙 등 모든 하위 워크로드로 데이터가 흐르는 단순화된 구조를 보여줍니다. 파이프라인 없이 데이터베이스 속성으로서의 동기화가 어떻게 아키텍처를 효율화하는지 증명합니다.

Databricks Lakebase 인터페이스 내 Lakehouse sync 설정 화면 스크린샷 — Screenshot사용자가 UI에서 'Start sync' 버튼 하나로 PostgreSQL에서 Unity Catalog Delta 테이블로의 CDC 설정을 활성화하는 실제 구현 모습을 보여줍니다. 기사에서 언급한 '1분 이내의 간편한 설정'이라는 주장을 뒷받침하는 실질적인 증거입니다.

Native Lakehouse Sync는 에이전트의 자율적인 운영을 위해 설계된 핵심 속성들을 포함하고 있습니다. 데이터베이스가 사용되지 않을 때 동기화가 중단되었다가 재개되는 Scale-to-zero 기능과 스키마 변경 사항이 자동으로 전파되는 기능을 갖추고 있습니다. 이를 통해 개발자는 동기화 설정을 수동으로 수정할 필요 없이 데이터 구조 변화에 유연하게 대응할 수 있습니다.

동기화된 데이터는 Unity Catalog 내에서 즉시 레이크하우스의 모든 기능을 활용할 수 있는 상태가 됩니다. Databricks Genie와 같은 AI 에이전트가 즉시 쿼리할 수 있으며, Delta Lake 또는 Apache Iceberg 형식을 지원하는 모든 도구에서 읽기가 가능합니다. 또한 SCD Type 2 이력 관리가 기본으로 적용되어 모든 변경 사항에 대한 감사 로그와 버전 관리가 자동으로 수행됩니다.

언급된 리소스

문서Databricks Lakebase