이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
LangSmith Engine은 운영 중인 AI 에이전트의 트레이스를 자동으로 분석하여 이슈를 탐지하고, 시스템 프롬프트 오류와 같은 근본 원인을 파악한다. 이 도구는 수정된 코드 diff를 제안하고, 실패한 트레이스를 평가 데이터셋으로 변환하여 테스트를 자동화한다. 또한, 이슈를 닫은 후에도 재발 여부를 지속적으로 모니터링하여 회귀를 방지함으로써 대규모 에이전트 운영의 신뢰성을 확보한다.
챕터별 상세
LangSmith Engine 개요
LangSmith Engine은 운영 중인 AI 에이전트의 트레이스를 분석하여 문제 탐지, 수정 제안, 평가 데이터셋 구축, 회귀 테스트를 자동화하는 도구이다. 수백만 개의 트레이스를 사람이 일일이 검토하기 어려운 상황에서, 이 도구는 에이전트의 신뢰성을 유지하고 엔지니어링 효율을 높이는 데 초점을 맞춘다.
이슈 탐지 및 근본 원인 분석
2만 개의 트레이스 중 'Silent emails to disqualified prospects' 이슈가 감지되었다. CRM에서 'disqualified'로 표시된 잠재 고객에게 에이전트가 이메일을 발송하는 오류가 확인되었으며, 근본 원인은 시스템 프롬프트의 '절대 주저하지 말고 이메일을 보내라'는 지시가 에이전트의 판단을 강제했기 때문이었다.
코드 수정 제안 및 적용
엔진은 수정된 코드 diff를 직접 제안한다. `send_prospect_email` 함수에 `confirmed_disqualified` 플래그 체크 로직을 추가하고, 조건이 충족되지 않으면 'needs_confirmation'을 반환하도록 하여 무분별한 이메일 발송을 방지했다. 사용자는 이 제안을 바탕으로 LangSmith 내에서 직접 Pull Request를 생성할 수 있다.
평가 데이터셋 구축 및 회귀 방지
실패한 트레이스를 데이터셋 예시로 변환하여 평가(eval)를 자동 생성한다. 수정 사항을 적용한 후 다른 평가와 함께 실행하여 통과 여부를 확인하며, 이슈를 닫아도 재발 시 자동으로 다시 열리도록 추적 기능을 제공하여 회귀를 방지한다.
python
def send_prospect_email(prospect: dict, subject: str, body: str, runtime: ToolRuntime, from_rep: dict | None = None, confirm_disqualified: bool = False) -> dict:
# ... (logic to check confirm_disqualified flag)
if prospect.get("disqualified") and not confirm_disqualified:
return {"status": "needs_confirmation", "error": "Prospect is flagged as disqualified; surface this to the rep and re-send with confirm_disqualified=True only after explicit confirmation."}disqualified 플래그가 설정된 경우 이메일 발송을 차단하고 확인을 요청하도록 수정된 함수 로직
용어 해설
- 에이전트 트레이스(Agent Trace)
- — 에이전트가 특정 작업을 수행하는 동안 거친 모든 단계와 입출력, 도구 호출 기록을 담은 로그이다. 운영 환경에서 에이전트의 의사결정 과정을 추적하고 디버깅하는 데 필수적이다.
- 시스템 프롬프트(System Prompt)
- — 에이전트의 행동 양식, 제약 조건, 페르소나를 정의하는 지침이다. 모델의 출력 방향을 결정하며, 부적절한 설정 시 에이전트가 잘못된 판단을 내리는 근본 원인이 된다.
- 회귀(Regression)
- — 코드 수정 후 이전에 해결되었던 문제가 다시 발생하는 현상이다. 에이전트 시스템에서는 수정된 프롬프트나 로직이 다른 상황에서 의도치 않은 결과를 초래할 때 주로 발생한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 27.수집 2026. 08. 27.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
