이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Pendo의 CAO Zain Lakhani는 제품 인사이트를 자동화하는 AI 에이전트 Novus를 구축하면서 겪은 신뢰성 문제를 LangSmith로 해결한 과정을 공유한다. LangSmith의 추적 대시보드는 단순한 모니터링을 넘어 수동으로 진행하던 디자인 파트너와의 체크인을 대체하고 평가 데이터셋 구축을 자동화하는 핵심 피드백 루프가 되었다. 이를 통해 개발팀은 고객이 오류를 경험하기 전에 실패 지점을 미리 파악하여 수정할 수 있었으며, 결과적으로 관측 가능성의 확보가 디자인 파트너 규모를 확장하는 결정적 계기가 되었다. LangChain 프레임워크는 POC부터 프로덕션까지의 전환을 매끄럽게 지원하며 Novus의 안정적인 운영을 뒷받침했다.
챕터별 상세
Novus 에이전트의 역할
Novus는 제품 내 사용 패턴을 자동으로 계측하여 인사이트를 도출하고 개선안을 제안하는 제품 에이전트이다. 사용자가 직접 데이터를 분석할 필요 없이 에이전트가 제품 사용 현황을 파악하고 즉각적인 피드백을 제공하는 구조를 갖추고 있다.
AI 제품 개발의 난관: POC와 프로덕션의 격차
AI 제품을 개발할 때 가장 어려운 점은 실험실 수준의 프로토타입을 실제 고객이 사용할 수 있는 안정적인 프로덕션 수준으로 끌어올리는 과정이다. 모델의 응답이 불확실하고 예측 불가능한 경우가 많아 이를 체계적으로 관리할 수 있는 도구가 필수적이다.
신뢰성 확보를 위한 평가 데이터셋 구축
에이전트의 신뢰성을 확보하기 위해 평가 데이터셋(Eval sets)을 구축하는 것이 가장 효과적인 해결책이다. 실제 사용자 질의와 에이전트의 응답 데이터를 기반으로 평가 기준을 설정하여 모델의 성능 변화를 정량적으로 측정한다.
LangSmith를 통한 수동 체크인 프로세스 대체
LangSmith의 추적(Trace) 기능을 활용하여 과거에 디자인 파트너들과 일일이 대조하며 진행하던 수동 체크인 업무를 자동화했다. 대시보드에서 에이전트의 사고 과정을 한눈에 파악할 수 있게 되면서 피드백 루프의 속도가 획기적으로 빨라졌다.
선제적 실패 감지 및 대응
고객이 에이전트의 오류를 발견하고 보고하기 전에 시스템 내부에서 먼저 실패 사례를 감지하고 분석한다. LangSmith에 기록된 로그를 통해 어떤 단계에서 추론이 잘못되었는지 즉시 파악하여 고객 경험을 보호한다.
LangChain 프레임워크의 적합성
LangChain은 아이디어를 빠르게 구현하는 POC 단계뿐만 아니라 복잡한 로직이 필요한 프로덕션 환경에서도 유연하게 작동하는 프레임워크이다. 다양한 도구와의 통합이 용이하여 Novus의 아키텍처를 확장하는 데 적합한 선택이었다.
관측 가능성 확보를 통한 파트너 규모 확장
시스템의 관측 가능성(Observability)이 높아짐에 따라 관리 가능한 디자인 파트너의 수가 비약적으로 증가했다. 모니터링 자동화 덕분에 적은 인력으로도 더 많은 파트너의 피드백을 수용하고 제품을 개선할 수 있는 확장성을 확보했다.
용어 해설
- 관측 가능성(Observability)
- — 시스템의 외부 출력을 통해 내부 상태를 얼마나 잘 이해할 수 있는지를 나타내는 척도이다. AI 에이전트 개발에서는 모델의 추론 과정과 중간 단계의 데이터를 가시화하여 문제의 원인을 정확히 파악하고 성능을 개선하는 데 필수적이다.
- 추적(Tracing)
- — 하나의 요청이 분산된 시스템이나 복잡한 에이전트 워크플로를 통과할 때 발생하는 모든 이벤트를 기록하는 기법이다. LangSmith와 같은 도구를 통해 각 단계의 입력, 출력, 소요 시간을 분석하여 병목 구간이나 논리적 오류를 찾아낼 수 있다.
- 평가 데이터셋(Evaluation Set)
- — AI 모델의 성능을 객관적으로 검증하기 위해 마련된 질문과 정답(Ground Truth)의 집합이다. 에이전트가 실제 운영 환경에서 의도대로 작동하는지 확인하고, 코드나 프롬프트 수정 시 발생할 수 있는 성능 저하를 방지하는 기준점이 된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 01.수집 2026. 07. 01.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
