DataBot 구축기: 상시 대기하는 데이터 어시스턴트

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

데이터 분석가들은 반복적인 단순 질문 응대로 인해 잦은 문맥 전환과 업무 중단을 겪는다. Sourcegraph는 이를 해결하기 위해 Gemini 2.5 Flash 기반의 Slack 봇인 DataBot을 구축했다. DataBot은 BigQuery, Looker, GitHub 등 다양한 도구를 조합해 SQL 쿼리를 실행하고, 소스 코드 검색(Deep Search)을 통해 데이터 변환 로직을 파악한다. 이를 통해 데이터 팀의 업무는 직접 쿼리를 작성하는 것에서 AI의 결과를 검토(Auditing)하는 방식으로 전환되어 효율성이 극대화되었다.

배경

LLM Tool Use(Function Calling) 개념, SQL 및 데이터 웨어하우스(BigQuery 등) 기초 지식, Slack API 및 서버리스 아키텍처 이해

대상 독자

데이터 엔지니어, 데이터 분석가, LLM 에이전트를 프로덕션에 도입하려는 개발자

의미 / 영향

AI 에이전트가 데이터 분석가의 단순 반복 업무를 대체함으로써 전문 인력은 더 복잡하고 가치 있는 분석에 집중할 수 있게 된다. 특히 코드 검색과 데이터 쿼리를 결합한 방식은 데이터의 흐름을 끝까지 추적해야 하는 현대적 데이터 엔지니어링 환경에서 강력한 도구가 될 것이다.

섹션별 상세

데이터 셰퍼드(Data Shepherd) 문제 해결을 위해 DataBot을 도입했다. 분석가가 단순 질문의 라우터 역할을 수행하며 발생하는 문맥 전환 비용을 줄이고, 사용자가 데이터 분석가에게 묻기 전 AI에게 먼저 질문하는 문화를 조성했다.

단순 LLM이 아닌 실제 도구들을 조합(Tool Composition)하여 활용한다. BigQuery(데이터 웨어하우스), Sourcegraph Deep Search(코드 검색), Looker(대시보드), GitHub(PR 생성) 등을 상황에 맞게 호출하여 정확한 답변을 도출한다.

text

@DataBot Create a PR to improve SCHEMA_CONTEXT so that when you are looking at events and their metadata you are selecting the most recent events to observe, instead of 30 days, look at 7 days by default and order by timestamp desc

사용자가 DataBot에게 GitHub PR 생성을 요청하는 Slack 메시지

DataBot이 사용하는 주요 도구와 제공자, 기능 설명이 포함된 표이다. — DiagramBigQuery(SQL 실행), Sourcegraph(코드 검색), Looker(대시보드 조회), GitHub(PR 생성) 등 DataBot이 연동하는 외부 도구 생태계를 보여준다. 각 도구가 데이터 분석 워크플로에서 어떤 역할을 수행하는지 명확히 정의하고 있다.

DataBot이 사용자의 요청에 따라 GitHub Pull Request를 생성하는 과정이다. — Screenshot단순 정보 조회를 넘어 실제 코드 베이스의 설정을 변경하고 PR 링크를 제공하는 에이전트의 실행 능력을 보여준다. 사용자의 승인(@DataBot approve) 절차를 포함하여 안전한 작업 수행 방식을 제시한다.

모든 답변에 실행된 SQL 쿼리를 포함하여 투명성을 확보했다. 데이터 분석가는 AI가 생성한 SQL의 테이블 선택, 필터 조건, 날짜 범위 등을 즉시 검증할 수 있으며, 이는 별도의 QA 과정 없이 신뢰도를 높이는 핵심 요소가 된다.

sql

SELECT eventName, COUNT(*) AS event_count
FROM telligentsourcegraph.telemetry.v2_events
WHERE DATE(timestamp) = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)
AND eventName LIKE 'search:%'
GROUP BY eventName
ORDER BY event_count DESC
LIMIT 3

DataBot이 상위 3개 검색 이벤트를 조회하기 위해 자동으로 생성한 SQL 쿼리 예시

Slack에서 DataBot이 질문에 답변하고 생성된 SQL을 보여주는 스크린샷이다. — Screenshot사용자의 검색 이벤트 비교 질문에 대해 DataBot이 수치 데이터와 함께 이를 도출한 SQL 쿼리를 투명하게 공개하는 모습을 보여준다. 이는 사용자가 AI의 답변 로직을 직접 검증할 수 있음을 시사한다.

SCHEMA_CONTEXT라는 구조화된 프롬프트를 통해 비즈니스 로직을 주입한다. 테이블 명명 규칙, 사용자 수 집계 방식(COUNT DISTINCT), URL 매칭 규칙 등 팀 내 암묵적인 지식을 명시하여 모델의 정확도를 지속적으로 개선한다.

Slack 스레드의 전체 문맥을 유지하여 연속적인 대화가 가능하다. 이전 질문에서 사용한 테이블이나 가정을 기억하고 이를 바탕으로 후속 질문(예: '지난주 데이터는?', '배포 유형별로 분류해줘')에 대응한다.

Google Cloud Functions와 Gemini 2.5 Flash를 활용한 경량 아키텍처로 배포했다. 빠른 업데이트가 가능하며, 동시성(Concurrency) 설정과 타임아웃 최적화를 통해 Slack의 재시도 요청으로 인한 중복 메시지 문제를 해결했다.

DataBot 배포 시 중요한 설정값인 동시성과 타임아웃에 대한 설명 표이다. — DiagramSlack의 재시도 메커니즘으로 인한 중복 메시지 방지를 위해 동시성(concurrency)을 2보다 크게 설정하고, 복잡한 쿼리 처리를 위해 타임아웃을 300초 이상으로 설정해야 함을 기술적으로 설명한다.

실무 Takeaway

단순 챗봇이 아닌 실제 데이터 도구(BigQuery, GitHub 등)를 호출할 수 있는 에이전트 구조를 설계하여 할루시네이션을 방지하고 실질적인 업무 자동화를 구현해야 한다.
AI의 답변에 SQL 원문을 포함시켜 데이터 분석가의 역할을 '수행'에서 '감사(Audit)'로 전환함으로써 질문당 처리 시간을 10분에서 30초 내외로 단축할 수 있다.
SCHEMA_CONTEXT와 같은 구조화된 지식 베이스를 지속적으로 업데이트하여 팀 내 파편화된 비즈니스 로직을 AI가 활용 가능한 자산으로 관리해야 한다.

언급된 리소스

문서Sourcegraph Deep Search