DataBot 구축기: 상시 대기하는 데이터 어시스턴트

섹션별 상세

데이터 셰퍼드(Data Shepherd) 문제 해결을 위해 DataBot을 도입했다. 분석가가 단순 질문의 라우터 역할을 수행하며 발생하는 문맥 전환 비용을 줄이고, 사용자가 데이터 분석가에게 묻기 전 AI에게 먼저 질문하는 문화를 조성했다.

단순 LLM이 아닌 실제 도구들을 조합(Tool Composition)하여 활용한다. BigQuery(데이터 웨어하우스), Sourcegraph Deep Search(코드 검색), Looker(대시보드), GitHub(PR 생성) 등을 상황에 맞게 호출하여 정확한 답변을 도출한다.

text

@DataBot Create a PR to improve SCHEMA_CONTEXT so that when you are looking at events and their metadata you are selecting the most recent events to observe, instead of 30 days, look at 7 days by default and order by timestamp desc

사용자가 DataBot에게 GitHub PR 생성을 요청하는 Slack 메시지

DataBot이 사용하는 주요 도구와 제공자, 기능 설명이 포함된 표이다. — DiagramBigQuery(SQL 실행), Sourcegraph(코드 검색), Looker(대시보드 조회), GitHub(PR 생성) 등 DataBot이 연동하는 외부 도구 생태계를 보여준다. 각 도구가 데이터 분석 워크플로에서 어떤 역할을 수행하는지 명확히 정의하고 있다.

DataBot이 사용자의 요청에 따라 GitHub Pull Request를 생성하는 과정이다. — Screenshot단순 정보 조회를 넘어 실제 코드 베이스의 설정을 변경하고 PR 링크를 제공하는 에이전트의 실행 능력을 보여준다. 사용자의 승인(@DataBot approve) 절차를 포함하여 안전한 작업 수행 방식을 제시한다.

모든 답변에 실행된 SQL 쿼리를 포함하여 투명성을 확보했다. 데이터 분석가는 AI가 생성한 SQL의 테이블 선택, 필터 조건, 날짜 범위 등을 즉시 검증할 수 있으며, 이는 별도의 QA 과정 없이 신뢰도를 높이는 핵심 요소가 된다.

sql

SELECT eventName, COUNT(*) AS event_count
FROM telligentsourcegraph.telemetry.v2_events
WHERE DATE(timestamp) = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)
AND eventName LIKE 'search:%'
GROUP BY eventName
ORDER BY event_count DESC
LIMIT 3

DataBot이 상위 3개 검색 이벤트를 조회하기 위해 자동으로 생성한 SQL 쿼리 예시

Slack에서 DataBot이 질문에 답변하고 생성된 SQL을 보여주는 스크린샷이다. — Screenshot사용자의 검색 이벤트 비교 질문에 대해 DataBot이 수치 데이터와 함께 이를 도출한 SQL 쿼리를 투명하게 공개하는 모습을 보여준다. 이는 사용자가 AI의 답변 로직을 직접 검증할 수 있음을 시사한다.

SCHEMA_CONTEXT라는 구조화된 프롬프트를 통해 비즈니스 로직을 주입한다. 테이블 명명 규칙, 사용자 수 집계 방식(COUNT DISTINCT), URL 매칭 규칙 등 팀 내 암묵적인 지식을 명시하여 모델의 정확도를 지속적으로 개선한다.

Slack 스레드의 전체 문맥을 유지하여 연속적인 대화가 가능하다. 이전 질문에서 사용한 테이블이나 가정을 기억하고 이를 바탕으로 후속 질문(예: '지난주 데이터는?', '배포 유형별로 분류해줘')에 대응한다.

Google Cloud Functions와 Gemini 2.5 Flash를 활용한 경량 아키텍처로 배포했다. 빠른 업데이트가 가능하며, 동시성(Concurrency) 설정과 타임아웃 최적화를 통해 Slack의 재시도 요청으로 인한 중복 메시지 문제를 해결했다.

DataBot 배포 시 중요한 설정값인 동시성과 타임아웃에 대한 설명 표이다. — DiagramSlack의 재시도 메커니즘으로 인한 중복 메시지 방지를 위해 동시성(concurrency)을 2보다 크게 설정하고, 복잡한 쿼리 처리를 위해 타임아웃을 300초 이상으로 설정해야 함을 기술적으로 설명한다.

용어 해설

도구 사용(Tool Use): — LLM이 외부 API나 함수를 호출하여 실시간 데이터 조회나 특정 작업을 수행할 수 있도록 하는 기법이다. 모델이 단순히 텍스트를 생성하는 것을 넘어 BigQuery 쿼리 실행이나 GitHub PR 생성과 같은 실제 액션을 취하게 함으로써 에이전트의 능력을 확장한다.
문맥 전환(Context Switching): — 진행 중인 업무를 중단하고 다른 업무로 전환할 때 발생하는 인지적 비용과 시간 손실을 의미한다. 데이터 분석가가 반복적인 단순 질문에 응답하기 위해 분석 업무를 중단하는 상황이 대표적이며, 이는 전체적인 생산성 저하의 주요 원인이 된다.
스키마 컨텍스트(Schema Context): — 데이터베이스의 테이블 구조, 컬럼 의미, 비즈니스 로직 등을 모델이 이해할 수 있도록 구조화하여 프롬프트에 주입하는 지식 체계이다. 암묵적인 팀 내 규칙이나 복잡한 테이블 관계를 명시하여 AI가 정확한 SQL을 생성하도록 돕는 가이드 역할을 한다.
원격 측정 데이터(Telemetry): — 소프트웨어 시스템에서 발생하는 사용자 행동, 성능 지표, 오류 로그 등을 수집한 데이터이다. Sourcegraph의 DataBot은 이 데이터를 분석하여 제품 사용 현황이나 특정 기능의 작동 여부를 파악하는 데 활용한다.
감사 루프(Audit Loop): — AI가 수행한 작업 결과물을 인간이 최종적으로 검토하고 승인하는 프로세스이다. DataBot이 생성한 SQL과 답변을 데이터 분석가가 확인하는 과정을 통해 신뢰성을 확보하며, 분석가의 역할을 '실행자'에서 '검토자'로 전환시킨다.

기술

Gemini 2.5 Flash
Google Cloud Functions
BigQuery
Sourcegraph Deep Search
Looker
GitHub API
PostHog

활용 사례

사내 데이터 질문 자동 응답
데이터 텔레메트리 코드 추적
SQL 쿼리 자동 생성 및 검증
데이터 설정 변경을 위한 GitHub PR 자동 생성

언급된 리소스

문서Sourcegraph Deep Search

@DataBot Create a PR to improve SCHEMA_CONTEXT so that when you are looking at events and their metadata you are selecting the most recent events to observe, instead of 30 days, look at 7 days by default and order by timestamp desc

SELECT eventName, COUNT(*) AS event_count FROM telligentsourcegraph.telemetry.v2_events WHERE DATE(timestamp) = DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY) AND eventName LIKE 'search:%' GROUP BY eventName ORDER BY event_count DESC LIMIT 3

DataBot 구축기: 상시 대기하는 데이터 어시스턴트

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

DataBot 구축기: 상시 대기하는 데이터 어시스턴트

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

AI on Your Lakehouse: 컨텍스트를 위한 그래프 형태 구축 워크숍

관련 토론

댓글

관련 기사

AI on Your Lakehouse: 컨텍스트를 위한 그래프 형태 구축 워크숍