Databricks를 활용한 Global Orphan Project의 데이터 혁신: 메달리온 아키텍처와 생성형 AI 도입 사례

비영리 단체인 Global Orphan Project(GO Project)는 여러 시스템에 흩어진 데이터로 인해 실시간 성과 지표 확인과 기부자 맞춤형 소통에 어려움을 겪고 있었다. 이를 해결하기 위해 Databricks의 메달리온 아키텍처를 도입하여 데이터를 Bronze, Silver, Gold 계층으로 체계화하고 Unity Catalog로 거버넌스를 강화했다. 결과적으로 수일이 걸리던 보고서 작성을 수분 내로 단축했으며, ai_query 함수를 활용해 기부자별 맞춤형 AI 뉴스레터를 수초 만에 생성하는 시스템을 구축했다. 이 사례는 소규모 팀이 통합 데이터 플랫폼을 통해 데이터 엔지니어링부터 생성형 AI 활용까지 어떻게 효율적으로 확장할 수 있는지를 보여준다.