세계은행 그룹, Databricks 기반 통합 데이터 및 AI 플랫폼 구축 사례

섹션별 상세

기존의 파편화된 데이터 환경은 구조화된 데이터와 비정형 문서 간의 통합을 가로막아 수동 연구에 의존해야 하는 병목 현상을 초래했다.

Databricks Unity Catalog를 도입하여 데이터 거버넌스를 단일화하고, Volumes를 통해 구조화된 데이터와 비정형 문서를 동일 플랫폼에서 관리하는 기반을 마련했다.

Genie를 활용해 비기술 사용자가 SQL 작성 없이 자연어로 구조화된 데이터에 질의하고, RAG를 통해 비정형 문서에서 정보를 검색하는 환경을 구현했다.

다중 도메인 질의를 처리하기 위해 의도 분류기, 도메인 분류기, 질의 분해기로 구성된 에이전트 계층을 상단에 배치하여 복합적인 질문에 대한 통합 응답을 생성한다.

외부 이해관계자를 대상으로 한 피드백 루프와 AI/BI를 활용한 분석을 통해 질의 입력과 라우팅 결정을 최적화하여 사용자 경험을 개선했다.

검색 증강 생성(RAG): — LLM이 외부 지식 베이스에서 관련 문서를 검색하여 답변을 생성하는 기법. 정보의 최신성과 정확성을 높이는 데 필수적이다.
유니티 카탈로그(Unity Catalog): — Databricks의 데이터 거버넌스 솔루션. 데이터, 분석, AI 자산에 대한 중앙 집중식 제어와 보안을 제공한다.
에이전트 계층(Agentic Layer): — 여러 도메인별 에이전트를 조율하고 복합적인 작업을 수행하도록 돕는 아키텍처. 의도 분류와 질의 분해를 통해 사용자 질문을 처리한다.