Databricks, SIGMOD 2026에서 'Enzyme' 엔진 및 Spark Declarative Pipelines 발표

섹션별 상세

Spark Declarative Pipelines(SDP)는 복잡한 ETL 및 스트리밍 워크로드를 간소화하는 새로운 데이터 엔지니어링 프레임워크이다. 데이터 엔지니어는 구체화된 뷰(Materialized View)를 지정하거나 스트리밍 API를 사용하여 증분 처리를 구현할 수 있다.

Enzyme은 SDP의 핵심 엔진으로, 데이터가 도착할 때마다 구체화된 뷰를 자동으로 유지 관리한다. 조인, 윈도우 함수, AI 함수 등 복잡한 연산을 포함한 뷰를 증분 방식으로 처리하여 개발자의 복잡한 코드 작성 부담을 줄인다.

sql

CREATE MATERIALIZED VIEW order_report as SELECT region, sum(orders) FROM customer_and_order_table GROUP by region

구체화된 뷰(Materialized View)를 생성하여 주문 데이터를 지역별로 집계하는 예시 코드

Enzyme은 SQL뿐만 아니라 Python으로 정의된 뷰도 지원하여 데이터 엔지니어링 및 AI 워크로드의 요구사항을 충족한다. 또한 파티션 수준의 업데이트 적용, 중간 결과 캐싱, 비용 모델 기반 전략 수립 등을 통해 처리 성능을 최적화한다.

성능 평가 결과, Enzyme은 기존 산업 솔루션(CV-IVM) 대비 뛰어난 속도 향상을 기록했다. 이 기술은 SIGMOD 2026에서 발표될 예정이며, 데이터 엔지니어링 분야의 혁신적인 증분 처리 기법으로 주목받고 있다.

Enzyme 엔진과 경쟁 솔루션(CV-IVM) 간의 상대적 성능 향상을 비교한 차트. — ChartEnzyme이 다양한 데이터셋에서 경쟁 솔루션 대비 더 높은 성능 향상을 보임을 나타낸다. 특히 대부분의 항목에서 1.0 이상의 속도 향상을 기록하여 효율성을 입증한다.

용어 해설

증분 뷰 유지 관리(Incremental View Maintenance): — 데이터 변경 시 전체를 다시 계산하지 않고 변경된 부분만 반영하여 구체화된 뷰를 최신 상태로 유지하는 기술이다. 대규모 데이터셋에서 쿼리 성능을 최적화하고 처리 비용을 절감하는 데 필수적이다.
구체화된 뷰(Materialized View): — 쿼리 결과를 물리적으로 저장하여 반복적인 복잡한 쿼리 실행 없이 빠르게 데이터에 접근할 수 있게 하는 데이터베이스 객체이다. 대시보드나 리포팅 시스템에서 데이터 조회 속도를 크게 향상시킨다.
추출, 변환, 적재(ETL): — 다양한 소스에서 데이터를 추출하고 변환하여 데이터 웨어하우스나 데이터 레이크에 적재하는 데이터 엔지니어링의 핵심 프로세스이다. 데이터 통합과 분석을 위한 기반을 마련하는 데 중요하다.

기술

Spark
Enzyme
Python
SQL

활용 사례

ETL 워크로드
스트리밍 데이터 처리
대시보드 쿼리 가속