Databricks Zerobus Ingest: 동적 파티셔닝을 통한 페타바이트급 스트리밍

섹션별 상세

01

기존 스트리밍 아키텍처는 정적 파티셔닝에 의존하여 피크 부하에 맞춰 인프라를 과잉 프로비저닝해야 하는 문제가 있음.

02

Zerobus Ingest는 스트림 연결을 논리적 단위로 사용하여 부하에 따라 자동으로 파드를 확장하고 축소하는 동적 파티셔닝을 구현함.

03

Zeroparser는 런타임에 동적 스키마를 처리하면서도 코드 생성 방식의 성능을 제공하는 제로 카피 Protobuf 디코더임.

04

쓰기 전 로그(WAL)와 gRPC 양방향 스트리밍을 결합하여 데이터 내구성을 보장하고 지연 시간을 최소화함.

05

NASA의 NEOWISE 데이터셋을 활용한 24시간 벤치마크에서 초당 12GB의 처리량과 1조 건 이상의 레코드 처리를 기록함.

동적 파티셔닝(Dynamic Partitioning): — 데이터 스트림의 부하에 따라 파티션 수를 실시간으로 조정하는 기법. 정적 파티셔닝과 달리 인프라를 미리 프로비저닝할 필요 없이 리소스를 효율적으로 확장 및 축소하여 처리량을 최적화함.
프로토콜 버퍼(Protobuf): — Google에서 개발한 직렬화 데이터 구조. 데이터 크기가 작고 직렬화/역직렬화 속도가 빨라 고성능 네트워크 통신 및 데이터 저장에 널리 사용됨.
쓰기 전 로그(Write-Ahead Log (WAL)): — 데이터베이스나 파일 시스템에서 변경 사항을 실제 저장소에 반영하기 전 로그 파일에 먼저 기록하는 방식. 시스템 장애 시 데이터 복구를 보장하고 쓰기 작업의 내구성을 높임.
제로 카피(Zero-copy): — 데이터를 메모리 간에 복사하지 않고 직접 전송하거나 처리하는 기술. CPU 사용량과 메모리 할당을 줄여 데이터 처리 성능을 극대화함.