Fizz.hu, Databricks SQL 도입으로 데이터 처리 속도 2.5배 향상 및 AI 기반 셀프 서비스 분석 구현

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

헝가리의 이커머스 기업 Fizz.hu는 기존 Microsoft SQL Server 기반 데이터 웨어하우스의 확장성 한계를 극복하기 위해 Databricks SQL로 마이그레이션했다. 3개월이라는 짧은 기간 동안 MVP 방식으로 전환을 완료하여 야간 ETL 처리 시간을 4시간에서 90분으로 단축하고 보고서 생성 시점을 오전 4시 30분으로 앞당겼다. 이 플랫폼은 SQL과 Python 워크로드를 통합 관리하며, Databricks Genie를 통해 비즈니스 사용자가 헝가리어 자연어로 데이터를 조회할 수 있는 환경을 제공한다. 결과적으로 인프라 비용의 과도한 증가 없이도 데이터 처리 성능을 개선하고 AI 기반의 셀프 서비스 분석 토대를 마련했다.

배경

데이터 웨어하우스(DW) 기본 개념, SQL 및 Python 기초 지식, ETL 파이프라인 이해

대상 독자

데이터 엔지니어링 팀장 및 엔터프라이즈 데이터 아키텍트

의미 / 영향

이 사례는 전통적인 SQL 기반 환경에서 레이크하우스로의 전환이 단순한 성능 개선을 넘어 AI 기반 셀프 서비스 분석으로 가는 필수 경로임을 보여줍니다. 특히 자연어 질의 도구의 도입이 실무 분석가의 업무 부하를 실질적으로 줄여줄 수 있음을 입증했습니다.

섹션별 상세

기존 SQL Server 환경은 데이터 카탈로그 확장과 Python 워크로드 분리에 따른 운영 복잡성 및 확장성 문제에 직면해 있었다. Databricks의 레이크하우스 아키텍처는 SQL과 Python을 단일 플랫폼에서 통합 관리할 수 있는 대안으로 선택됐다.

완벽한 재설계 대신 핵심 뷰와 테이블 50여 개를 우선 이전하는 MVP 방식의 마이그레이션을 3개월 만에 완수했다. 이를 통해 기존 보고서 체계를 유지하면서도 엔진만 교체하여 비즈니스 중단 없이 신속하게 시스템을 전환했다.

Databricks SQL의 자동 최적화 기능을 활용해 10TB 규모의 데이터를 처리하는 야간 ETL 주기를 4시간에서 90분으로 60% 이상 단축했다. Power BI 보고서 갱신 주기도 50% 줄어들어 현업 사용자들이 업무 시작 전인 새벽 4시 30분에 데이터를 확인할 수 있게 됐다.

Databricks Genie를 도입하여 기술 지식이 없는 비즈니스 사용자가 헝가리어 자연어로 데이터를 직접 조회할 수 있는 셀프 서비스 환경을 구축했다. 이로 인해 데이터 분석가의 단순 질의 응답 시간이 약 20% 절감되어 더 가치 있는 분석 업무에 집중할 수 있게 됐다.

AI 기반 SQL 함수를 활용해 제품명 표준화 및 데이터 정제 작업을 자동화하고 GDPR 및 EU AI 법안 준수를 위한 거버넌스 체계를 강화하고 있다. 단일 환경에서 모델 서빙과 마케팅 데이터 통합까지 확장 가능한 AI 준비 태세를 갖추게 됐다.

실무 Takeaway

대규모 마이그레이션 시 전체 재작성 대신 핵심 기능을 우선 이전하는 MVP 전략을 사용하면 3개월 내에 실질적인 성능 개선 효과를 볼 수 있다.
Databricks SQL의 자동 최적화 엔진을 도입하면 추가적인 인프라 증설 없이도 ETL 처리 시간을 60% 이상 단축하고 보고서 가용성을 높일 수 있다.
자연어 질의 도구인 Databricks Genie를 활용하면 비즈니스 사용자의 데이터 접근성을 높이고 분석가의 단순 반복 업무를 20% 줄이는 실무적 이득이 있다.

언급된 리소스

튜토리얼Databricks 101: A Practical Primer