Databricks와 Virtue Foundation의 의료 데이터 플랫폼 구축 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Virtue Foundation은 전 세계 72개국 의료 시설 데이터를 통합하여 의료진과 자원봉사 기회를 매칭하는 플랫폼을 운영한다. 파편화된 웹 데이터를 처리하기 위해 OpenAI GPT 모델을 활용한 단계별 정보 추출 파이프라인을 구축했다. Databricks와 Apache Spark를 통해 2,500만 개 이상의 웹 페이지를 병렬 처리하며, Splink를 사용하여 데이터 중복을 제거했다. 최근에는 LangGraph 기반의 멀티 에이전트 아키텍처를 도입하여 자연어 질의를 통한 데이터 분석 기능을 프로토타입으로 구현했다.

배경

Apache Spark, LLM 파이프라인 설계, 데이터 엔지니어링 기초

대상 독자

데이터 엔지니어, AI 솔루션 아키텍트, 프로덕션 환경에서 LLM 파이프라인을 구축하는 개발자

의미 / 영향

이 사례는 대규모 비정형 데이터를 LLM으로 처리할 때 파이프라인 최적화와 에이전트 아키텍처가 필수적임을 보여준다. 특히 데이터 처리 병목을 해결하기 위한 분산 처리 엔진의 활용은 프로덕션 수준의 AI 시스템 구축에 중요한 기준이 된다.

섹션별 상세

Overture Maps와 Bright Data를 통해 수집된 데이터를 OpenAI GPT 모델로 분류 및 추출한다. 전체 작업을 단계별로 세분화하여 토큰 소비를 최적화하고 정밀도를 높였다.

Foundational Data Refresh(FDR) 파이프라인의 단계별 처리 과정. — Diagram데이터 수집부터 의료 관련성 분류, 조직 유형 식별, 세부 정보 추출까지의 전체 파이프라인 흐름을 나타낸다. 단계별 처리를 통해 토큰 소비를 최적화하는 구조를 보여준다.

Apache Spark와 Lakeflow Jobs를 사용하여 2,500만 개 이상의 웹 페이지를 병렬 처리한다. 데이터 처리 상태를 추적하는 체크포인트 시스템으로 파이프라인 안정성을 확보했다.

Splink를 사용하여 데이터 소스 간 중복된 의료 시설 정보를 통합한다. Photon 엔진을 적용하여 데이터 파티션 처리 시간을 30분에서 2분으로 15배 단축했다.

Splink를 이용한 엔티티 해상도 규칙 예시. — Chart데이터 중복 제거를 위해 필드별 가중치를 계산하고 최종 매칭 확률을 도출하는 과정을 보여준다. 데이터 소스 간의 불일치를 해결하는 기술적 접근을 설명한다.

LangGraph를 활용한 에이전트 아키텍처가 자연어 질의를 처리한다. 질의 의도에 따라 Vector Search Agent와 Genie Agent로 작업을 라우팅하여 구조화된 데이터와 비정형 데이터를 동시에 분석한다.

VF Agent의 멀티 에이전트 아키텍처 흐름도. — Diagram사용자 질의가 의료 전문 용어 추출기를 거쳐 Vector Search Agent와 Genie Agent로 라우팅되는 구조를 설명한다. 자연어 질의를 통한 데이터 분석 워크플로를 보여준다.

실무 Takeaway

LLM 파이프라인 설계 시 전체 작업을 세분화하면 토큰 소비를 줄이고 정밀도를 높일 수 있다.
대규모 엔티티 해상도 작업 시 Photon과 같은 벡터화된 쿼리 엔진을 활용하면 성능 병목을 획기적으로 개선할 수 있다.
복잡한 데이터 분석 요구사항은 LangGraph와 같은 에이전트 프레임워크를 통해 자연어 인터페이스로 구현 가능하다.

언급된 리소스

튜토리얼Databricks x Virtue Foundation Project Overview