세가 HARDlight, Databricks로 A/B 테스트 분석 자동화 및 실험 역량 2배 확대

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

모바일 게임 스튜디오 세가 HARDlight는 수동적이고 일관성 없는 A/B 테스트 분석 프로세스로 인해 실험 확장과 의사결정에 어려움을 겪었다. 이를 해결하기 위해 Databricks 기반의 자동화 프레임워크를 구축하여 데이터 수집, 통계 모델링, 결과 시각화 과정을 표준화했다. 특히 LLM을 활용해 복잡한 통계 결과를 자연어 요약으로 제공하고, 대시보드를 계층화하여 다양한 이해관계자의 요구를 충족시켰다. 그 결과 주당 8시간 이상의 수동 업무를 절감하고 추가 인력 없이 실험 용량을 2배로 늘리는 성과를 거두었다.

배경

A/B 테스트 및 통계적 유의성에 대한 기본 이해, Databricks 플랫폼 및 Unity Catalog 개념, 데이터 파이프라인(ETL) 프로세스 지식

대상 독자

데이터 엔지니어, 데이터 분석가, 게임 프로덕트 매니저, MLOps 엔지니어

의미 / 영향

데이터 플랫폼 내에서 통계 모델링과 LLM 요약을 결합함으로써 전문 지식이 없는 사용자도 데이터 기반 의사결정에 참여할 수 있는 '데이터 민주화'의 실질적 사례를 제시한다.

섹션별 상세

기존의 수동 분석 방식은 분석가마다 통계적 접근법이 다르고 결과 도출까지 시간이 오래 걸려 실험의 신뢰도와 속도를 저하시켰다.

Databricks의 Spark Declarative Pipelines와 Unity Catalog를 활용해 실험 데이터 수집과 거버넌스를 표준화하고, 통계 모델링 로직을 노트북에서 미리 계산하여 데이터 일관성을 확보했다.

세가 HARDlight의 데이터 인텔리전스 플랫폼 아키텍처 다이어그램 — Diagram데이터 소스에서 수집된 정보가 Lakeflow Jobs와 Spark를 거쳐 Mosaic AI 및 Databricks SQL로 전달되는 전체 흐름을 보여준다. Unity Catalog를 통한 거버넌스와 Delta Lake 기반의 데이터 계층화(Bronze/Silver/Gold) 구조가 핵심이다.

Databricks AI/BI를 통해 LLM 기반의 요약 정보부터 상세 지표까지 단계적으로 노출하는 계층형 대시보드를 구현하여 비기술직군과 전문가 모두에게 최적화된 인사이트를 제공한다.

LLM 요약 및 계층형 지표를 포함한 AI/BI 대시보드 구조 — Infographic최상단의 LLM 요약부터 통계 결과, LTV 예측, 수익 분석, 세그먼트 분석 순으로 구성된 대시보드 레이어를 설명한다. 사용자의 필요에 따라 정보를 점진적으로 깊게 탐색할 수 있는 구조를 시각화했다.

실험 종료 시 대시보드 상태를 고정(Frozen)하여 보관함으로써 과거의 결정 맥락과 학습 내용을 데이터 유실 없이 영구적으로 자산화했다.

자동화 도입 후 분석 설정 시간이 실험당 약 1일 단축되었으며, 데이터 팀의 수동 업무가 주당 8시간 이상 줄어들어 전체적인 실험 운영 효율이 극대화됐다.

기존의 수동 실험 분석 워크플로우 타임라인 — Diagram데이터 추출, 수동 해석, 보고서 작성 등 여러 단계에서 수동 개입이 필요했던 과거의 비효율적인 프로세스를 보여준다. 특히 통계 분석과 해석 단계에서 병목이 발생함을 알 수 있다.

Databricks를 통한 자동화된 실험 인사이트 전달 워크플로우 — Diagram수동 워크플로우와 대비하여 통계 모델링과 LLM 요약 생성이 자동화된 파이프라인 내에서 이루어지는 모습을 보여준다. 이를 통해 의사결정 지원 속도가 빨라졌음을 강조한다.

실무 Takeaway

A/B 테스트 분석의 병목을 해결하려면 통계 로직을 대시보드가 아닌 업스트림(노트북/파이프라인)에서 미리 계산하여 결과의 일관성을 보장해야 한다.
LLM을 활용해 복잡한 통계 수치를 자연어 요약으로 변환하면 데이터 문해력이 낮은 이해관계자들의 의사결정 속도를 획기적으로 높일 수 있다.
실험 결과를 '스냅샷' 형태로 보존하는 프로세스를 구축하면 조직 내 지식 공유를 활성화하고 중복 실험을 방지하는 효과가 있다.