이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Coinbase의 개발자 지원 팀은 고객 문의 자동화를 위해 Discord AI Chat, Slack Triage, Support Engineer Assistant를 구축했다. 이 시스템은 LangGraph와 LangSmith를 기반으로 관측 가능한 'Glass Box' 구조를 채택하여, 결정론적 가드레일과 LLM-as-judge 평가를 통해 응답의 안전성을 확보했다. 또한 Claude Code와 MCP를 활용한 의도 기반 워크플로를 도입하여 기술 관리 효율을 높였다. 에이전트 엔지니어링을 독립적인 분야로 정립하고 팀의 협업을 강조하는 운영 전략이 시스템의 신뢰성과 성능 개선을 이끌었다.
챕터별 상세
00:00
Intro: Coinbase 개발자 플랫폼 소개
Coinbase 개발자 플랫폼은 지갑, 온체인 도구, 스테이킹, 결제 등 다양한 API를 제공한다. 지원 팀은 Discord 서버를 통해 커뮤니티 개발자를 지원해왔으나, 스케일링을 위해 AI 에이전트 도입이 필요했다.
01:16
지원 과제: Discord 기반 지원과 시장 확장에 따른 스케일링 문제
커뮤니티 개발자의 높은 기대치와 엔터프라이즈 고객의 화이트글러브 지원 요구 사이에서 균형을 맞춰야 했다. 기존의 수동 지원 모델을 자동화하여 고객 만족도를 유지하는 것이 핵심 과제였다.
02:37
시스템 설계: 채널, Python 서비스, LangSmith 관측 가능성
시스템은 Discord와 웹을 채널로 사용하며, Python 기반의 에이전트 서비스(LangGraph)를 백엔드에 배치했다. LangSmith와 Datadog을 통해 모든 요청을 추적하고 실시간 평가를 수행하는 관측 가능한 구조를 설계했다.
04:49
공유 도구: MCP 서버와 RAG 폴백
문서 검색을 위해 원격 MCP 서버를 활용하고, 에이전트의 불확실성을 보완하기 위해 RAG 폴백 메커니즘을 적용했다. 이는 도구의 신뢰성을 높이는 데 기여했다.
05:34
에이전트 개요: Discord AI Chat, Slack Triage, Support Assistant
Discord AI Chat, Slack Triage, Support Engineer Assistant 등 세 가지 에이전트를 배포했다. 각 에이전트는 고객 응답, 내부 신호 분류, 케이스 관리를 담당한다.
06:22
Discord AI Chat 데모: 가드레일이 적용된 개발자 응답
Discord AI Chat은 개발자 질문에 대해 기술 문서 기반의 전문적인 응답을 제공한다. 가드레일을 통해 민감한 정보를 차단하고, 사용자가 직접 피드백을 남길 수 있는 메뉴를 포함한다.
07:24
가드레일 작동 원리: 결정론적 안전장치와 LLM-as-judge 출력 검토
가드레일은 결정론적 안전장치와 LLM-as-judge를 결합하여 작동한다. 입력 단계에서 PII를 필터링하고, 출력 단계에서 LLM이 응답의 정확성과 위험성을 평가하여 안전한 답변만 제공한다.
08:02
Slack Triage: LangSmith 추적 링크를 통한 내부 신호 포착
Slack Triage 채널은 Discord의 신호를 내부로 가져와 엔지니어가 즉시 확인할 수 있게 한다. LangSmith 추적 링크를 포함하여 문제의 맥락을 빠르게 파악하고 대응할 수 있다.
08:38
Support Engineer Assistant: 내부 케이스 관리 인터페이스
Support Engineer Assistant는 내부 서비스 콘솔에서 케이스 관리를 지원한다. 상담원이 케이스 요약과 다음 단계를 제안받아 효율적으로 업무를 처리할 수 있게 한다.
09:31
의도 기반 워크플로: Claude Code와 MCP 도구를 활용한 기술 관리
의도 기반 워크플로를 위해 Claude Code와 MCP 도구를 사용한다. 기술 관리(Tech Grooming) 과정에서 에이전트가 의도를 파악하고 필요한 도구를 호출하여 작업을 수행한다.
10:37
신호 검색: 백테스팅을 통한 개선 기회 발굴
LangSmith를 활용한 백테스팅으로 추적 데이터를 분석하여 개선 기회를 찾는다. 보안 대시보드와 스레드 활동을 프로파일링하여 시스템의 취약점을 보완하고 성능을 최적화한다.
11:22
발견 사항: 프로덕션 환경의 다국어 공격자 대응
프로덕션 환경에서 다국어 공격자 사례를 발견했다. 보안 데이터셋 생성의 어려움을 확인하고, 다국어 환경에서의 안전성 확보가 중요함을 인지했다.
12:08
교훈: 에이전트 엔지니어링의 중요성과 Glass Box 구축
에이전트 엔지니어링을 독립적인 분야로 다루고, 에이전트 구축 전 관측 가능한 'Glass Box'를 먼저 만들어야 한다. 팀의 협업이 에이전트 성능을 극대화하는 곱셈 효과를 낸다.
용어 해설
- MCP
- — AI 모델이 외부 도구 및 데이터와 상호작용하기 위한 표준화된 프로토콜이다. 에이전트가 문서, 데이터베이스 등 다양한 컨텍스트에 안전하게 접근하고 도구를 호출할 수 있도록 지원하여 에이전트의 범용성을 높인다.
- LLM-as-Judge
- — LLM의 응답을 평가하기 위해 또 다른 LLM을 사용하는 기법이다. 응답의 정확성, 안전성, 위험성 등을 자동으로 검토하여 사람이 일일이 확인하지 않아도 모델의 성능을 모니터링하고 가드레일을 적용할 수 있게 한다.
- RAG
- — 외부 데이터베이스에서 관련 정보를 검색하여 LLM의 입력 컨텍스트로 제공하는 기법이다. 모델이 학습하지 않은 최신 정보나 내부 문서를 기반으로 정확한 답변을 생성하도록 돕는다.
- Observability
- — 시스템 내부 상태를 외부에서 파악할 수 있는 정도를 의미한다. AI 에이전트 시스템에서는 추적 데이터, 로그, 메트릭을 통해 에이전트의 의사결정 과정과 오류를 분석하고 성능을 최적화하는 데 필수적이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 20.수집 2026. 07. 20.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.