DataBot 구축기: 소스그래프의 상시 가동 데이터 어시스턴트

핵심 요약

데이터 분석가는 반복적인 단순 데이터 추출 요청으로 인해 업무 몰입에 방해를 받는 '데이터 셰퍼드' 문제에 직면한다. 소스그래프는 이를 해결하기 위해 사내 데이터 웨어하우스와 도구들에 접근할 수 있는 AI 슬랙 봇인 DataBot을 구축했다. DataBot은 Gemini 2.5 Flash를 기반으로 BigQuery, Looker, Sourcegraph Deep Search 등의 도구를 조합하여 답변을 생성하며, 생성된 SQL을 투명하게 공개하여 사용자가 직접 검증할 수 있게 한다. 이를 통해 데이터 분석가의 업무는 직접 쿼리를 작성하는 방식에서 AI의 결과물을 감사하는 방식으로 전환되어 업무 효율이 극대화되었다.

배경

SQL 기초 지식, LLM Tool Calling 개념, GCP Cloud Functions 운영 경험

대상 독자

사내 데이터 분석 자동화를 고민하는 데이터 엔지니어 및 LLM 에이전트 개발자

의미 / 영향

데이터 분석 업무가 직접 수행에서 AI 결과 검토로 패러다임이 변화하고 있음을 보여준다. 이는 분석가의 생산성을 10배 이상 향상시킬 수 있는 실질적인 사례이다.

섹션별 상세

데이터 분석가의 고질적인 문제인 컨텍스트 스위칭을 해결하기 위해 DataBot을 도입했다. 영업, 제품, 엔지니어링 팀에서 쏟아지는 수많은 질문은 개별적으로는 짧은 시간이 소요되지만, 전체적으로는 분석가의 깊은 몰입을 방해한다. DataBot은 분석가에게 직접 질문하기 전 단계의 인터페이스 역할을 수행하며, 단순 반복적인 데이터 확인 작업을 자동화한다.

DataBot의 핵심 역량은 다양한 도구의 조합(Tool Composition)에 있다. 단순한 챗봇과 달리 BigQuery, PostHog, Looker, Sourcegraph Deep Search 등의 API를 호출하여 실제 데이터를 탐색한다. 예를 들어 Deep Search로 코드 내 텔레메트리 이벤트를 확인한 후, BigQuery에서 해당 이벤트의 수치를 계산하는 식의 복합적인 워크플로우를 수행한다.

답변의 신뢰성을 확보하기 위해 모든 답변에 생성된 SQL 쿼리를 포함한다. 데이터 분석가들은 AI의 답변을 맹목적으로 믿지 않기 때문에, 사용된 테이블, 필터 조건, 날짜 범위 등을 직접 확인할 수 있는 투명성이 필수적이다. 이를 통해 별도의 QA 과정 없이 슬랙 내에서 즉각적인 피드백과 로직 수정이 가능해졌다.

SCHEMA_CONTEXT라는 구조화된 프롬프트를 통해 사내 비즈니스 로직과 데이터 웨어하우스의 지식을 주입한다. 모호한 테이블 명칭이나 특정 지표 계산 시 반드시 적용해야 하는 필터 규칙 등을 정의하여 AI가 정확한 쿼리를 생성하도록 가이드한다. 오류가 발견될 때마다 이 규칙을 업데이트함으로써 봇의 성능을 지속적으로 개선한다.

Google Cloud Functions와 Gemini 2.5 Flash를 기반으로 한 경량 아키텍처를 채택했다. 슬랙의 재시도 메커니즘으로 인한 중복 메시지 방지를 위해 동시성을 2 이상으로 설정하고, 복잡한 쿼리 처리를 위해 타임아웃을 300초 이상으로 확보하는 등 실무적인 설정 노하우를 적용했다.

이미지 분석

Diagram
DataBot이 사용하는 도구 목록과 각 도구의 역할을 정리한 표이다. 에이전트가 데이터 생태계 내에서 어떤 기능을 수행하는지 구체적으로 보여준다.
DataBot이 활용하는 주요 도구와 기능 정의표

Screenshot
DataBot이 슬랙에서 사용자의 질문에 답변하고, 그 근거가 되는 SQL 쿼리를 함께 제시하는 실제 사례이다. 주간 트렌드 비교와 같은 복잡한 분석을 수행하는 능력을 입증한다.
데이터 분석 결과와 SQL 쿼리를 출력하는 슬랙 인터페이스

Screenshot
사용자가 슬랙 대화만으로 설정 파일 수정을 위한 GitHub PR 생성을 요청하고, DataBot이 이를 처리하는 과정을 보여준다. 단순 조회를 넘어 코드 수정까지 가능한 에이전트의 확장성을 나타낸다.
GitHub PR 생성을 자동화하는 DataBot의 워크플로우

Diagram
DataBot 배포 시 중요한 설정값인 동시성과 타임아웃의 권장 수치와 그 이유를 설명하는 표이다. 안정적인 슬랙 봇 운영을 위한 실무적인 팁을 제공한다.
슬랙 봇 배포를 위한 주요 설정값 가이드

실무 Takeaway

AI 에이전트 도입 시 답변의 근거가 되는 SQL이나 소스코드를 함께 제시하여 사용자가 직접 감사할 수 있는 구조를 만들어야 한다.
비즈니스 로직과 데이터 스키마에 대한 지식을 SCHEMA_CONTEXT와 같은 구조화된 프롬프트로 관리하여 모델의 환각을 방지하고 정확도를 높여야 한다.
단일 도구 사용보다는 여러 데이터 소스와 분석 도구를 체이닝하여 복합적인 질문에 대응할 수 있는 능력이 에이전트의 가치를 결정한다.

언급된 리소스

GitHubDataBot PR Example