Grab의 CDP Scenario: 대규모 실시간 개인화를 구현하는 기술적 방법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Grab은 기존 배치 처리 방식의 한계를 극복하기 위해 실시간 사용자 이벤트와 과거 이력을 결합한 'CDP Scenario' 기능을 도입했다. 이 시스템은 Apache Flink 기반의 실시간 파이프라인을 통해 15초 이내의 낮은 지연 시간으로 사용자 의도를 예측하고 개인화된 제안을 제공한다. 마케터가 직접 GUI를 통해 시나리오를 설정할 수 있어 엔지니어링 병목 현상을 해결했으며, Grab Unlimited 가입 전환율을 3% 이상 높이는 등 실질적인 비즈니스 성과를 거두고 있다.

배경

데이터 스트리밍 파이프라인(Kafka, Flink)에 대한 기본 지식, CDP(고객 데이터 플랫폼) 및 개인화 마케팅 개념

대상 독자

데이터 엔지니어, ML 엔지니어, 실시간 마케팅 시스템 설계자

의미 / 영향

실시간 개인화는 단순한 기술적 과제가 아니라 비즈니스 성과와 직결되는 핵심 역량이다. 엔지니어링 자동화를 통해 마케팅 부서의 자율성을 높이는 것이 대규모 서비스 운영의 핵심이다.

섹션별 상세

Grab의 기존 CDP는 1,000개 이상의 배치 속성을 관리하지만, 하루 한 번 업데이트되는 특성상 공항 도착이나 쇼핑몰 방문과 같은 즉각적인 대응이 필요한 상황에는 부적합했다.

CDP Scenario는 Scribe를 통한 실시간 이벤트, 지오펜싱, CDP의 과거 프로필 데이터, 그리고 Catwalk 기반의 실시간 예측 모델을 결합하여 복합적인 사용자 컨텍스트를 생성한다.

CDP 시나리오의 구성 요소 다이어그램 — Diagram실시간 사용자 컨텍스트, 과거 컨텍스트, 예측 모델이 결합되어 소비 및 활성화 단계로 이어지는 시나리오의 기본 구조를 보여준다.

마케터는 엔지니어의 도움 없이 GUI를 통해 이벤트 트리거, 위치 조건, 과거 속성, 예측 모델을 직접 설정하고 가상 데이터로 검증할 수 있는 셀프 서비스 환경을 갖추고 있다.

기술 아키텍처는 Apache Flink를 핵심 엔진으로 사용하며, StarRocks에서 과거 데이터를 조회하고 S3에 저장된 사전 학습 모델을 통해 실시간 추론을 수행한 뒤 결과를 Kafka나 Amphawa로 전송한다.

CDP 시나리오의 상세 속성 및 데이터 흐름도 — Diagram사용자 이벤트가 과거 컨텍스트와 결합되어 실시간 예측을 수행하고, Kafka나 Profile API를 통해 서비스로 전달되는 상세 프로세스를 시각화했다.

CDP 시나리오의 전체 기술 아키텍처 — DiagramScribe SDK부터 Flink 파이프라인, StarRocks 데이터베이스, Catwalk 추론 엔진, 그리고 최종 소비 서비스까지의 전체 시스템 구조를 상세히 보여준다.

실제 사례로 Grab Unlimited 가입을 시작했다가 중단한 사용자에게 15분 이내에 리마인드 알림을 보내는 시나리오를 적용한 결과, 기존 비실시간 캠페인 대비 전환율이 3% 이상 향상되었다.

Grab Unlimited 가입 이탈 방지 시나리오 플로우 — Diagram가입 페이지를 이탈한 비구독자를 대상으로 15분 대기 후 구독 여부를 확인하여 푸시 알림을 보내는 구체적인 로직을 설명한다.

실무 Takeaway

배치 데이터와 실시간 이벤트를 결합한 하이브리드 컨텍스트를 구축하여 사용자 의도 예측의 정확도를 높이고 즉각적인 마케팅 액션을 실행할 수 있다.
마케터가 직접 시나리오를 설계하고 배포할 수 있는 셀프 서비스 GUI를 제공함으로써 엔지니어링 리소스 의존도를 낮추고 실험 주기를 단축할 수 있다.
Apache Flink와 StarRocks를 활용한 저지연(15초 이내) 데이터 파이프라인을 구축하여 대규모 트래픽 환경에서도 실시간 개인화를 안정적으로 지원한다.