핵심 요약
Clay는 영업 및 마케팅 팀을 위한 데이터 강화 및 자동화 플랫폼으로, 현재 월 3억 건 이상의 AI 에이전트 실행을 처리하고 있다. 대규모 에이전트 운영 과정에서 발생하는 품질 예측의 어려움, 모델별 비용 관리, 그리고 급변하는 모델 생태계 대응이라는 과제를 해결하기 위해 LangSmith를 핵심 인프라로 채택했다. LangSmith의 관측성 기능을 통해 복잡한 멀티스텝 에이전트의 내부 동작을 추적하고, 실제 데이터를 기반으로 한 평가 루프를 구축하여 서비스 신뢰도를 높였다. 결과적으로 Clay는 다양한 LLM 제공업체를 유연하게 활용하면서도 일관된 성능과 비용 효율성을 유지하는 데 성공했다.
배경
AI 에이전트 개념, LLM 트레이싱 및 관측성, LangChain/LangSmith 기본 지식
대상 독자
대규모 AI 에이전트 시스템을 구축하거나 LLM 운영 비용 및 품질 관리에 고민이 있는 엔지니어 및 프로덕트 매니저
의미 / 영향
이 사례는 AI 에이전트가 단순한 실험 단계를 넘어 대규모 상용 서비스의 핵심 동력으로 자리 잡았음을 보여준다. 특히 LangSmith와 같은 LLMOps 도구가 복잡한 에이전트 시스템의 신뢰성을 확보하고 운영 비용을 최적화하는 데 필수적인 인프라임을 입증한다.
섹션별 상세
Clay는 고객 발굴(Find), 계약 체결(Close), 계정 확장(Grow)의 전 과정에 AI 에이전트를 통합하여 운영한다. 각 에이전트 실행은 웹 스크래핑, 문서 요약, 구조화된 데이터 추출 등 10에서 30단계의 복잡한 추론 과정을 포함하며, 사용자의 자유로운 자연어 입력에 대응해야 한다. 월 3억 건에 달하는 방대한 실행 규모로 인해 작은 품질 저하나 비용 비효율성도 비즈니스 전체에 막대한 영향을 미치는 구조를 가지고 있다.
대규모 에이전트 운영의 주요 과제는 오프라인 벤치마크만으로 예측하기 어려운 실제 운영 품질과 복잡한 추론 비용 관리였다. Clay는 Anthropic, OpenAI 등 다양한 모델 제공업체를 지원하며, 작업 성격에 따라 최적의 모델을 매핑하는 메타 프롬프터를 운영한다. 이 과정에서 발생하는 모델별 성능 차이와 비용 변동을 실시간으로 파악하고 제어하기 위해 전문적인 관측 도구가 필수적이었다.
LangSmith는 Clay의 에이전트 워크플로 전반에 걸쳐 관측성과 평가의 중추 역할을 수행한다. 개발팀은 LangSmith의 트레이싱 기능을 활용해 에이전트의 각 단계별 동작을 시각화하고 병목 지점을 파악하며, 실제 운영 데이터를 기반으로 한 데이터셋을 구축하여 모델 업데이트 시 발생할 수 있는 회귀(Regression)를 방지한다. 이를 통해 새로운 모델이 출시될 때마다 신속하게 성능을 검증하고 프로덕션에 반영할 수 있는 환경을 구축했다.
실무 Takeaway
- 월 3억 건 규모의 에이전트 운영 시, 오프라인 벤치마크보다 실제 운영 데이터 기반의 트레이싱과 평가가 품질 유지에 더 결정적이다.
- 멀티 모델 전략을 채택할 경우, 각 작업에 최적화된 모델 매핑과 실시간 비용 모니터링 체계를 구축하여 운영 효율을 극대화해야 한다.
- 복잡한 멀티스텝 에이전트 아키텍처에서는 각 단계의 입출력을 가시화하는 관측성 도구가 디버깅과 성능 개선의 핵심이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료