Databricks, SIGMOD 2026에서 'Enzyme' 엔진 및 Spark Declarative Pipelines 발표

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Databricks는 복잡한 ETL 및 스트리밍 워크로드를 간소화하기 위해 Spark Declarative Pipelines(SDP)를 도입하고, 그 핵심인 증분 뷰 유지 관리 엔진 'Enzyme'을 공개했다. Enzyme은 기존 쿼리 가속을 넘어 ETL 워크로드에 구체화된 뷰(Materialized View)를 적용하여 데이터 처리 효율을 높인다. 조인, 윈도우 함수, AI 함수 등 복잡한 패턴을 지원하며, SQL뿐만 아니라 Python도 지원하여 데이터 엔지니어링의 유연성을 확보했다. SIGMOD 2026 논문을 통해 공개된 이 기술은 기존 산업 솔루션 대비 뛰어난 성능을 입증했다.

대상 독자

데이터 엔지니어 및 AI 인프라 개발자

의미 / 영향

Enzyme과 같은 증분 뷰 유지 관리 기술은 대규모 데이터 파이프라인의 복잡성을 줄이고 처리 효율을 극대화한다. 이는 데이터 엔지니어링과 AI 워크로드의 통합을 가속화하며, 실시간 데이터 처리가 중요한 프로덕션 환경에서 비용 절감과 성능 향상을 동시에 달성할 수 있게 한다.

섹션별 상세

Spark Declarative Pipelines(SDP)는 복잡한 ETL 및 스트리밍 워크로드를 간소화하는 새로운 데이터 엔지니어링 프레임워크이다. 데이터 엔지니어는 구체화된 뷰(Materialized View)를 지정하거나 스트리밍 API를 사용하여 증분 처리를 구현할 수 있다.

Enzyme은 SDP의 핵심 엔진으로, 데이터가 도착할 때마다 구체화된 뷰를 자동으로 유지 관리한다. 조인, 윈도우 함수, AI 함수 등 복잡한 연산을 포함한 뷰를 증분 방식으로 처리하여 개발자의 복잡한 코드 작성 부담을 줄인다.

sql

CREATE MATERIALIZED VIEW order_report as SELECT region, sum(orders) FROM customer_and_order_table GROUP by region

구체화된 뷰(Materialized View)를 생성하여 주문 데이터를 지역별로 집계하는 예시 코드

Enzyme은 SQL뿐만 아니라 Python으로 정의된 뷰도 지원하여 데이터 엔지니어링 및 AI 워크로드의 요구사항을 충족한다. 또한 파티션 수준의 업데이트 적용, 중간 결과 캐싱, 비용 모델 기반 전략 수립 등을 통해 처리 성능을 최적화한다.

성능 평가 결과, Enzyme은 기존 산업 솔루션(CV-IVM) 대비 뛰어난 속도 향상을 기록했다. 이 기술은 SIGMOD 2026에서 발표될 예정이며, 데이터 엔지니어링 분야의 혁신적인 증분 처리 기법으로 주목받고 있다.

Enzyme 엔진과 경쟁 솔루션(CV-IVM) 간의 상대적 성능 향상을 비교한 차트. — ChartEnzyme이 다양한 데이터셋에서 경쟁 솔루션 대비 더 높은 성능 향상을 보임을 나타낸다. 특히 대부분의 항목에서 1.0 이상의 속도 향상을 기록하여 효율성을 입증한다.

실무 Takeaway

복잡한 ETL 파이프라인에서 구체화된 뷰(Materialized View)를 활용하면 증분 처리를 자동화하여 코드 복잡도를 획기적으로 낮출 수 있다.
Enzyme 엔진은 SQL과 Python을 모두 지원하므로, 데이터 엔지니어링과 AI 워크로드를 통합 관리하는 환경에서 효율적인 증분 처리가 가능하다.
파티션 단위 업데이트와 중간 결과 캐싱 전략을 적용하면 데이터 처리 비용과 지연 시간을 최적화할 수 있다.