이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Podium은 자동차 딜러십과 서비스 업종의 잠재 고객 응답을 자동화하는 AI 에이전트 'Jerry'를 구축하며 리드 응답 속도를 획기적으로 개선했다. 초기에는 수동 프롬프트 엔지니어링과 Google Docs 기반의 '골든 평가셋' 검증에 의존했으나, 에이전트 패턴이 확장됨에 따라 체계적인 엔지니어링 환경이 필요해졌다. 이에 따라 LangSmith를 도입하여 평가와 관측성을 확보하고, 기존의 자체 구축 런타임을 LangGraph로 전환하여 배포 안정성과 확장성을 강화했다. 이 과정은 단순한 프로토타이핑을 넘어 프로덕션 수준의 에이전트 운영 체계를 확립하는 실무적 전환점을 보여준다.
챕터별 상세
Podium의 비즈니스와 AI 도입 배경
Podium은 자동차 딜러십 및 홈 서비스 기업을 대상으로 리드 응답 자동화 솔루션을 제공한다. 고객 문의에 대한 응답 속도(Speed to Lead)가 전환율에 직결되는 핵심 지표로 작용한다. AI 도입 전에는 수동 응답 방식의 한계가 명확했으며, 이를 해결하기 위해 AI 에이전트 'Jerry'를 개발하여 1억 달러 규모의 AI 매출을 달성하는 성과를 거두었다.
Speed to Lead는 잠재 고객 확보를 위한 영업 효율성의 핵심 지표이다.
수동 평가에서 자동화된 평가로의 전환
초기에는 Google Docs에 수동으로 작성한 50개의 '골든 평가셋'을 통해 모델 응답을 검증했다. 그러나 에이전트의 복잡도가 증가하고 패턴이 다양해지면서 수동 검토 방식은 병목 현상을 일으켰다. 이 시기에 에이전트의 일관된 성능을 보장하기 위한 자동화된 평가 시스템의 필요성이 대두되었다.
Golden Evals는 모델의 성능을 일관되게 측정하기 위한 기준 데이터셋이다.
LangSmith를 통한 관측성 확보
2023년, Podium은 에이전트의 동작을 추적하고 평가하기 위해 LangSmith를 도입했다. 이를 통해 에이전트의 추론 과정을 시각화하고, 실패 사례를 분석하여 프롬프트와 로직을 개선하는 루프를 구축했다. 데이터 기반의 의사결정이 가능해지면서 에이전트의 신뢰도가 향상되었다.
LangSmith는 LLM 애플리케이션의 디버깅, 테스트, 모니터링을 지원하는 플랫폼이다.
자체 런타임에서 LangGraph로의 마이그레이션
초기에는 자체적으로 구축한 커스텀 런타임을 사용하여 에이전트를 실행했으나, 유지보수와 확장성 측면에서 한계에 직면했다. 이를 해결하기 위해 LangGraph 기반의 배포 환경으로 전환했다. LangGraph는 복잡한 에이전트 워크플로를 상태 기반으로 관리할 수 있게 하여, 안정적인 프로덕션 운영을 가능하게 했다.
LangGraph는 상태를 가진 다중 에이전트 시스템을 구축하기 위한 라이브러리이다.
에이전트 엔지니어링 루프와 향후 과제
Podium의 에이전트 엔지니어링은 지속적인 피드백 루프를 중심으로 운영된다. 실제 고객 데이터를 기반으로 에이전트의 행동을 평가하고, 이를 다시 시스템에 반영하여 성능을 최적화한다. 향후에는 더 복잡한 멀티 에이전트 협업과 자율적인 문제 해결 능력을 강화하는 방향으로 발전할 계획이다.
용어 해설
- 리드 응답 속도(Speed to Lead)
- — 잠재 고객이 문의를 남긴 시점부터 기업이 최초로 응답하기까지 걸리는 시간이다. 고객 전환율에 결정적인 영향을 미치며, AI 에이전트를 도입하는 주요 비즈니스 동기 중 하나이다.
- 골든 평가셋(Golden Evals)
- — 모델의 성능을 측정하기 위해 미리 정의된 정답과 입력값의 집합이다. 에이전트의 응답 품질을 검증하고 회귀 테스트를 수행하는 기준점으로 활용된다.
- 에이전트 엔지니어링(Agent Engineering)
- — AI 에이전트의 설계, 배포, 모니터링 및 최적화 과정을 체계화하는 실무 영역이다. 프롬프트 관리, 평가 루프 구축, 런타임 제어 등을 포함한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 10.수집 2026. 07. 10.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
