데이터 파이프라인 아키텍처: 설계 원칙과 패턴

섹션별 상세

데이터 파이프라인은 수집, 처리, 저장, 서빙의 4단계로 구성된다. 수집은 소스에서 데이터를 가져오고, 처리는 데이터를 정제하며, 저장은 분석을 위해 데이터를 보관하고, 서빙은 최종 사용자에게 데이터를 전달한다. 각 단계는 데이터의 흐름과 변환 규칙을 정의하는 청사진 역할을 한다.

근거

데이터 파이프라인은 수집, 처리, 저장, 서빙의 4단계로 구성된다. — The core layers of a data pipeline 섹션 참조

배치 아키텍처는 정해진 주기에 따라 데이터를 처리하며 비용 효율적이나 지연 시간이 발생한다. 반면 스트리밍 아키텍처는 실시간으로 데이터를 처리하여 즉각적인 대응이 가능하지만 인프라 운영 비용이 높다. 사용 사례의 지연 시간 허용 범위에 따라 적절한 패턴을 선택해야 한다.

람다 아키텍처는 배치와 스트리밍 경로를 병렬로 운영하여 정확성과 속도를 모두 확보하지만 코드와 로직이 중복되는 단점이 있다. 카파 아키텍처는 스트리밍 파이프라인 하나로 모든 처리를 통합하여 운영 복잡성을 낮춘다.

메달리온 아키텍처는 데이터를 브론즈(원시), 실버(정제), 골드(비즈니스 준비)의 3단계 품질 계층으로 구분한다. 각 계층을 독립적인 파이프라인으로 구성하면 문제 발생 시 격리가 쉽고 모니터링과 유지보수가 용이하다.

근거

메달리온 아키텍처는 데이터를 브론즈, 실버, 골드의 3단계 품질 계층으로 구분한다. — Medallion architecture (lakehouse pattern) 섹션 참조

ETL은 데이터를 적재 전 변환하지만, ELT는 원시 데이터를 먼저 적재한 후 목적지에서 변환한다. 현대 클라우드 플랫폼은 컴퓨팅 자원이 유연하여 ELT 방식이 주류를 이룬다.

확장 가능한 파이프라인을 위해 10가지 설계 원칙을 준수해야 한다. 인제스천과 변환의 분리, 멱등성 보장, 데이터 품질 검증, 스키마 변경 대응, 오픈 포맷 사용 등이 포함된다.

용어 해설

데이터 파이프라인(Data Pipeline): — 데이터를 소스 시스템에서 추출하여 정제, 변환, 저장하고 최종 사용자나 애플리케이션에 전달하는 전체 자동화 흐름을 의미한다. 데이터의 수집부터 활용까지의 청사진을 제공한다.
메달리온 아키텍처(Medallion Architecture): — 데이터 레이크하우스에서 데이터를 브론즈(원시), 실버(정제), 골드(비즈니스 준비)의 3단계 품질 계층으로 나누어 관리하는 설계 패턴이다. 각 계층을 독립적으로 운영하여 데이터 품질과 유지보수 효율을 높인다.
ETL: — Extract, Transform, Load의 약자로, 데이터를 추출하여 변환한 뒤 저장소에 적재하는 전통적인 방식이다. 데이터 적재 전 변환을 수행하여 저장소의 데이터 품질을 보장한다.
람다 아키텍처(Lambda Architecture): — 배치 처리 경로와 스트리밍 처리 경로를 병렬로 운영하여 정확한 과거 데이터와 실시간 데이터를 모두 제공하는 설계 방식이다. 두 경로의 결과를 서빙 계층에서 통합한다.
카파 아키텍처(Kappa Architecture): — 단일 스트리밍 파이프라인으로 모든 데이터를 처리하는 설계 방식이다. 과거 데이터 분석이 필요할 때 스트림을 처음부터 다시 재생하여 람다 아키텍처의 복잡성을 제거한다.

기술

Databricks
Delta Lake
Unity Catalog
Apache Iceberg
Lakeflow

활용 사례

데이터 레이크하우스 구축
실시간 사기 탐지
ML 모델 학습 데이터 파이프라인
비즈니스 리포팅