세계은행 그룹, Databricks 기반 통합 데이터 및 AI 플랫폼 구축 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

세계은행 그룹은 방대한 운영 데이터와 수천만 건의 비정형 문서를 통합하기 위해 Databricks 기반의 데이터 및 AI 플랫폼을 구축했다. Unity Catalog로 데이터 거버넌스를 확보하고, Genie를 통해 자연어 기반의 데이터 질의 환경을 구현했다. 또한, 벡터 검색과 RAG를 활용해 비정형 문서에서 핵심 정보를 추출하고, 에이전트 계층을 도입하여 복합적인 질의를 처리한다. 이 플랫폼은 월 300만 건 이상의 문서 다운로드를 지원하며, 수동 연구의 병목 현상을 제거하고 글로벌 지식 공유를 가속화한다.

대상 독자

엔터프라이즈 데이터 및 AI 플랫폼 아키텍트

의미 / 영향

이 사례는 대규모 조직이 파편화된 데이터 사일로를 제거하고 AI 기반의 통합 지식 플랫폼을 구축하는 실질적인 아키텍처 패턴을 보여준다. 특히 에이전트 계층을 통한 복합 질의 처리는 기업용 RAG 시스템의 확장성을 높이는 핵심 전략이 될 수 있다.

섹션별 상세

기존의 파편화된 데이터 환경은 구조화된 데이터와 비정형 문서 간의 통합을 가로막아 수동 연구에 의존해야 하는 병목 현상을 초래했다.

Databricks Unity Catalog를 도입하여 데이터 거버넌스를 단일화하고, Volumes를 통해 구조화된 데이터와 비정형 문서를 동일 플랫폼에서 관리하는 기반을 마련했다.

Genie를 활용해 비기술 사용자가 SQL 작성 없이 자연어로 구조화된 데이터에 질의하고, RAG를 통해 비정형 문서에서 정보를 검색하는 환경을 구현했다.

다중 도메인 질의를 처리하기 위해 의도 분류기, 도메인 분류기, 질의 분해기로 구성된 에이전트 계층을 상단에 배치하여 복합적인 질문에 대한 통합 응답을 생성한다.

외부 이해관계자를 대상으로 한 피드백 루프와 AI/BI를 활용한 분석을 통해 질의 입력과 라우팅 결정을 최적화하여 사용자 경험을 개선했다.

실무 Takeaway

데이터 거버넌스(Unity Catalog)와 비정형 데이터 관리(Volumes)를 통합하면 데이터 민주화와 효율적인 AI 파이프라인 구축이 가능하다.
복합적인 도메인 질의를 처리할 때는 의도 분류와 질의 분해를 수행하는 에이전트 계층을 도입하여 단일 인터페이스에서 통합된 결과를 제공할 수 있다.
RAG와 자연어 인터페이스를 결합하면 방대한 문서 저장소에서 수동 검색 없이 즉각적인 인사이트를 도출하여 의사결정 속도를 높일 수 있다.