챕터별 상세
도입: Relevance AI의 지원 에이전트 여정
Relevance AI의 지원 팀 리드 Alex가 1,500명 규모의 대형 지원 조직에서 AI를 통해 업무를 혁신한 경험을 공유했다. 초기 목표는 전체 티켓의 80%를 AI가 처리하도록 만드는 것이었으며, 현재 실제로 그 수치를 달성했다. 단순히 기술을 도입하는 것을 넘어 고객 경험(CX)을 유지하며 자동화를 실현한 과정을 다룬다.
Auto-pilot과 Co-pilot의 정의 및 차이
Auto-pilot은 인간의 승인 없이 100% 자율적으로 작동하는 에이전트로, 자율주행차나 완전 자동 챗봇과 유사하다. 반면 Co-pilot은 Human-in-the-loop 구조로 작동하며 모든 결과물에 대해 인간의 검토와 승인이 필요하다. 많은 팀이 성급하게 Auto-pilot을 선택하지만, 이는 위험한 접근 방식이다.
Human-in-the-loop는 인공지능 시스템의 학습이나 운영 과정에 인간이 개입하여 의사결정을 돕거나 결과를 검증하는 방식을 의미한다.
초기 Auto-pilot 도입 실패의 원인 분석
Relevance AI 팀이 초기에 도입했던 Auto-pilot 에이전트 'Sunny'는 여러 문제를 야기했다. 적절한 가드레일이 없어 존재하지 않는 기능을 약속하는 Hallucination 현상이 발생했고, 도메인 전문가(SME)의 사고방식이 반영되지 않았다. 또한 문제가 생겼을 때 상담원에게 연결하는 에스컬레이션 경로가 없어 고객 만족도가 하락했다.
Co-pilot 에이전트 'Amy'의 구축과 성과
실패를 거울삼아 모든 답변을 인간이 승인하는 Co-pilot 에이전트 'Amy'를 구축했다. Amy는 티켓 내용을 분석하고 도구를 사용해 답변 초안을 작성한 뒤 상담원의 승인을 기다린다. 이 방식을 통해 티켓 처리 시간을 90% 단축했으며, 인간이 개입되어 있어 AI의 답변 오류를 실시간으로 수정하고 지식의 간극을 메울 수 있었다.
Auto-pilot 에이전트 'Jack'으로의 진화
Amy를 통해 충분한 데이터와 정교한 프롬프트가 확보된 후, 자율형 에이전트 'Jack'으로 전환했다. Jack은 Co-pilot 단계에서 검증된 도구들을 그대로 사용하며, 무료 사용자부터 유료 사용자까지 티어별로 차등화된 지원을 제공한다. 단 2주 만에 전체 지원 시스템에 배포되었으며, 추가 인력 없이 글로벌 24/7 대응이 가능해졌다.
에이전트 워크플로우 및 가드레일 설계 시연
에이전트가 사용하는 구체적인 도구와 워크플로우를 시연했다. Jack은 스크린샷을 분석하는 Vision 기능, Loom 영상을 분석하는 도구, 지식 베이스를 검색하는 RAG 도구 등을 복합적으로 사용한다. 특히 'Gwen'이라는 별도의 에스컬레이션 전용 에이전트를 두어, Jack이 문제를 해결하지 못하거나 인간의 개입이 필요한 시점을 엄격하게 판단하도록 설계했다.
RAG(Retrieval-Augmented Generation)는 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 답변 정확도를 높이는 기술이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 15.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
