Fizz.hu, Databricks SQL 도입으로 데이터 처리 속도 2.5배 향상 및 AI 기반 셀프 서비스 분석 구현

섹션별 상세

기존 SQL Server 환경은 데이터 카탈로그 확장과 Python 워크로드 분리에 따른 운영 복잡성 및 확장성 문제에 직면해 있었다. Databricks의 레이크하우스 아키텍처는 SQL과 Python을 단일 플랫폼에서 통합 관리할 수 있는 대안으로 선택됐다.

완벽한 재설계 대신 핵심 뷰와 테이블 50여 개를 우선 이전하는 MVP 방식의 마이그레이션을 3개월 만에 완수했다. 이를 통해 기존 보고서 체계를 유지하면서도 엔진만 교체하여 비즈니스 중단 없이 신속하게 시스템을 전환했다.

Databricks SQL의 자동 최적화 기능을 활용해 10TB 규모의 데이터를 처리하는 야간 ETL 주기를 4시간에서 90분으로 60% 이상 단축했다. Power BI 보고서 갱신 주기도 50% 줄어들어 현업 사용자들이 업무 시작 전인 새벽 4시 30분에 데이터를 확인할 수 있게 됐다.

Databricks Genie를 도입하여 기술 지식이 없는 비즈니스 사용자가 헝가리어 자연어로 데이터를 직접 조회할 수 있는 셀프 서비스 환경을 구축했다. 이로 인해 데이터 분석가의 단순 질의 응답 시간이 약 20% 절감되어 더 가치 있는 분석 업무에 집중할 수 있게 됐다.

AI 기반 SQL 함수를 활용해 제품명 표준화 및 데이터 정제 작업을 자동화하고 GDPR 및 EU AI 법안 준수를 위한 거버넌스 체계를 강화하고 있다. 단일 환경에서 모델 서빙과 마케팅 데이터 통합까지 확장 가능한 AI 준비 태세를 갖추게 됐다.

용어 해설

레이크하우스(Lakehouse): — 데이터 레이크의 유연한 저장 능력과 데이터 웨어하우스의 구조화된 데이터 관리 및 성능을 결합한 아키텍처이다. 단일 플랫폼에서 SQL 분석, 데이터 엔지니어링, 머신러닝 워크로드를 모두 지원하여 데이터 사일로를 제거하고 운영 효율성을 높인다.
추출, 변환, 적재(ETL): — 다양한 소스 시스템에서 데이터를 추출하여 비즈니스 요구사항에 맞게 변환한 후 대상 데이터 저장소에 로드하는 프로세스이다. 데이터 분석 및 보고를 위한 기초 데이터를 준비하는 핵심적인 데이터 파이프라인 단계이다.
최소 기능 제품(MVP): — 핵심적인 가치를 제공하는 최소한의 기능만을 갖춘 제품 버전이다. 복잡한 전체 시스템을 한 번에 구축하는 대신, 빠르게 배포하여 실제 환경에서 검증하고 점진적으로 개선해 나가는 전략에 사용된다.
셀프 서비스 분석(Self-service Analytics): — 비즈니스 사용자가 데이터 전문가의 개입 없이 직접 데이터를 탐색, 질의, 시각화하여 의사결정에 필요한 통찰을 얻는 방식이다. 데이터 민주화를 실현하고 분석 팀의 반복적인 단순 업무 부담을 줄여준다.

기술

Databricks SQL
Databricks Genie
Power BI
Microsoft SQL Server
Python

활용 사례

이커머스 데이터 분석
야간 ETL 최적화
자연어 기반 데이터 질의

언급된 리소스

튜토리얼Databricks 101: A Practical Primer