Reffy: Databricks가 RAG와 에이전트를 활용해 구축한 고객 사례 검색 앱 개발기

섹션별 상세

파편화된 고객 사례 데이터의 '부족 지식(Tribal Knowledge)' 문제를 해결하기 위해 YouTube, 블로그, 내부 문서 등 2,400개 이상의 스토리를 통합 검색할 수 있는 Reffy를 구축했다.

ETL 파이프라인은 Lakeflow Jobs를 통해 오케스트레이션되며, Gemini 2.5 기반의 AI Functions를 사용하여 각 스토리의 비즈니스 가치와 품질을 31개 항목으로 자동 채점하고 메타데이터를 추출한다.

검색 엔진은 Databricks Vector Search와 리랭커(Re-ranker)를 사용하며, 단순 키워드 검색은 2초 이내에 처리하고 복잡한 질문에는 LLM 기반의 추론형 응답을 제공하는 하이브리드 방식을 채택했다.

에이전트 개발에는 DSPy 프레임워크를 도입하여 모델 서빙 엔드포인트 재배포 없이도 노트북 환경에서 로직을 반복 테스트하고 프롬프트를 최적화하여 개발 주기를 단축했다.

React와 FastAPI 기반의 Databricks Apps를 통해 프론트엔드를 구축하고, Lakebase를 사용하여 대화 기록 및 사용자 로그를 실시간으로 저장하여 지속적인 품질 개선에 활용한다.

AI/BI 대시보드를 통해 사용자 쿼리 패턴을 분석한 결과, 최신 제품인 Agent Bricks와 Lakebase에 대한 수요가 높음을 확인하고 데이터 보강 전략에 반영했다.

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 응답에 포함시키는 기술이다. Reffy는 2,400개 이상의 고객 사례 데이터를 검색하여 할루시네이션을 방지하고 정확한 근거를 제공하는 데 이 기술을 활용한다.
DSPy: — 프롬프트 엔지니어링 대신 프로그래밍 방식으로 언어 모델의 파이프라인을 정의하고 최적화하는 프레임워크이다. 에이전트의 로직을 모듈화하여 테스트와 반복 개선 속도를 획기적으로 높여준다.
레이크베이스(Lakebase): — Databricks 환경에서 실시간 읽기 및 쓰기를 지원하는 데이터 스토리지 서비스이다. Reffy 앱에서 사용자의 대화 기록, 로그, 신원 정보를 실시간으로 저장하고 관리하는 백엔드 데이터베이스 역할을 수행한다.
AI 함수(AI Functions): — SQL이나 데이터 파이프라인 내에서 LLM을 직접 호출하여 데이터 처리를 수행하는 기능이다. Reffy 구축 과정에서 수천 개의 텍스트 데이터를 자동으로 채점하고 메타데이터를 추출하는 ETL 과정에 사용되었다.
벡터 검색(Vector Search): — 데이터를 수학적 벡터로 변환하여 의미적 유사성을 기반으로 정보를 찾는 기술이다. 키워드 매칭의 한계를 넘어 사용자의 의도에 가장 부합하는 고객 사례를 빠르게 찾아내는 핵심 엔진이다.

튜토리얼RAG Guide

AI/BI 대시보드를 통해 사용자 쿼리 패턴을 분석한 결과, 최신 제품인 Agent Bricks와 Lakebase에 대한 수요가 높음을 확인하고 데이터 보강 전략에 반영했다.

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 응답에 포함시키는 기술이다. Reffy는 2,400개 이상의 고객 사례 데이터를 검색하여 할루시네이션을 방지하고 정확한 근거를 제공하는 데 이 기술을 활용한다.
DSPy: — 프롬프트 엔지니어링 대신 프로그래밍 방식으로 언어 모델의 파이프라인을 정의하고 최적화하는 프레임워크이다. 에이전트의 로직을 모듈화하여 테스트와 반복 개선 속도를 획기적으로 높여준다.
레이크베이스(Lakebase): — Databricks 환경에서 실시간 읽기 및 쓰기를 지원하는 데이터 스토리지 서비스이다. Reffy 앱에서 사용자의 대화 기록, 로그, 신원 정보를 실시간으로 저장하고 관리하는 백엔드 데이터베이스 역할을 수행한다.
AI 함수(AI Functions): — SQL이나 데이터 파이프라인 내에서 LLM을 직접 호출하여 데이터 처리를 수행하는 기능이다. Reffy 구축 과정에서 수천 개의 텍스트 데이터를 자동으로 채점하고 메타데이터를 추출하는 ETL 과정에 사용되었다.
벡터 검색(Vector Search): — 데이터를 수학적 벡터로 변환하여 의미적 유사성을 기반으로 정보를 찾는 기술이다. 키워드 매칭의 한계를 넘어 사용자의 의도에 가장 부합하는 고객 사례를 빠르게 찾아내는 핵심 엔진이다.

튜토리얼RAG Guide