Clay가 월 3억 건의 AI 에이전트 실행을 관리하는 방법: LangSmith 활용 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Clay는 영업 및 성장 팀을 위한 플랫폼으로, 현재 월평균 약 3억 건의 AI 에이전트 실행을 처리하고 있다. 초기 단순 챗봇 수준에서 시작해 현재는 웹 스크래핑, 연구 합성, 고객 적격성 평가 등 10~30단계의 복잡한 추론 과정을 수행하는 에이전트로 진화했다. 대규모 운영 과정에서 발생하는 품질 예측의 어려움과 비용 관리 문제를 해결하기 위해 LangSmith를 관측 및 평가의 핵심 기반으로 활용한다. 이를 통해 다양한 모델 제공업체를 유연하게 사용하면서도 대규모 에이전트 워크플로의 효율성을 유지하고 있다.

배경

LLM 에이전트 기본 개념, LangSmith/LangChain 생태계에 대한 이해, API 기반 모델 서빙 지식

대상 독자

대규모 LLM 에이전트를 운영하는 엔지니어 및 프로덕트 매니저

의미 / 영향

대규모 에이전트 시스템에서 관측 가능성(Observability)이 단순한 모니터링을 넘어 비용 최적화와 모델 선택 전략의 핵심 데이터로 활용될 수 있음을 보여준다. 특히 멀티 모델 전략을 취하는 기업들에게 LangSmith와 같은 MLOps 도구의 실질적인 가치를 입증한다.

섹션별 상세

Clay의 AI 에이전트는 단순 요약을 넘어 웹 페이지 스크래핑과 데이터 추출을 자율적으로 수행하는 'Claytent'로 발전했다. 현재는 고객 발굴(Find), 계약 체결(Close), 계정 성장(Grow)의 세 단계에 걸쳐 에이전트가 배치되어 있으며, 각 실행당 10~30개의 복잡한 단계를 거친다.

대규모 에이전트 운영에서 직면한 주요 과제는 오프라인 벤치마크만으로는 예측하기 힘든 실시간 품질 관리였다. 사용자의 입력이 자유로운 자연어 형태이기 때문에 예상치 못한 동작이 발생할 확률이 높으며, 이를 감지하기 위해 실제 트래픽에 대한 정밀한 관측이 필수적이었다.

비용 최적화를 위해 Clay는 Anthropic, OpenAI 등 여러 모델 제공업체를 혼합하여 사용하며, 작업 유형에 따라 최적의 모델을 매핑하는 메타 프롬프터(Meta-prompter)를 운영한다. 수억 건의 실행에서 발생하는 추론 비용을 관리하고 모델 간 성능 차이를 비교하기 위해 LangSmith의 추적 기능을 활용한다.

실무 Takeaway

복잡한 멀티스텝 에이전트를 운영할 때 LangSmith와 같은 관측 도구를 도입하면 각 단계별 추론 과정을 시각화하여 병목 구간과 오류 발생 지점을 즉각적으로 파악할 수 있다.
여러 LLM 제공업체를 병행 사용하는 환경에서 메타 프롬프팅 전략을 구축하면 작업의 난이도에 따라 저비용 모델과 고성능 모델을 동적으로 배분하여 운영 비용을 최적화할 수 있다.
자유 형식의 자연어 입력을 처리하는 에이전트의 경우, 고정된 테스트 셋보다는 실제 운영 환경의 트래픽 데이터를 지속적으로 수집하고 평가하여 모델 업데이트에 따른 성능 회귀를 방지해야 한다.

언급된 리소스

API DocsLangSmith