본문으로 건너뛰기

Claude Code와 LangChain Skills를 활용한 AI 에이전트 개발 및 평가 가이드

Claude Code에 LangChain과 LangSmith Skills를 결합하여 복잡한 리서치 에이전트를 설계, 구현, 트레이싱 및 자동 평가하는 전체 워크플로우를 시연한다.

챕터별 상세

00:00

Claude Code와 Skills 초기화

Claude Code 환경에서 LangChain 및 LangSmith 관련 Skills를 로드하여 에이전트 개발 준비를 마쳤다. 사용자는 Tavily를 검색 도구로 사용하고 서브에이전트를 관리하는 리서치 에이전트 제작을 요청했다. Claude Code는 로드된 Skills를 통해 에이전트 오케스트레이션과 의존성 관리에 대한 모범 사례를 참조했다.
bash
claude-code "Make me a deep agent for research that uses Tavily to search the web. It should be able to spin up a subagent for focused topic research, while leaving the main agent to coordinate tasks."

Claude Code에게 서브에이전트 구조를 가진 리서치 에이전트 생성을 요청하는 프롬프트

00:30

리서치 에이전트 및 테스트 스크립트 생성

Claude Code가 research_agent.py 파일을 생성하고 메인 코디네이터와 서브에이전트 간의 통신 로직을 구현했다. LangSmith 트레이싱 설정을 자동으로 포함하여 실행 과정을 기록할 수 있도록 구성했다. 뉴욕과 샌프란시스코의 중식당 비교, 2026년 AI 트렌드 분석이라는 두 가지 쿼리로 에이전트 작동을 테스트했다.
01:20

LangSmith CLI를 이용한 데이터셋 구축

에이전트 실행 결과로 생성된 트레이스 데이터를 기반으로 테스트용 데이터셋을 구축했다. Claude Code는 LangSmith CLI Skills를 사용하여 최근 실행된 트레이스를 추출하고 이를 JSON 형식의 데이터셋으로 변환했다. 이 과정에서 API 키 설정 및 환경 변수 구성을 자동으로 처리하여 데이터 파이프라인을 완성했다.
02:50

에이전트 궤적 평가기 구현

에이전트가 의도한 단계(To-do 리스트 작성, 작업 위임 등)를 제대로 밟았는지 검증하는 evaluator.py를 작성했다. Trajectory Match Percentage 지표를 사용하여 예상된 작업 흐름과 실제 실행 궤적 간의 일치율을 계산하도록 설계했다. 작성된 평가기는 LangSmith에 업로드되어 데이터셋에 대한 자동 평가를 수행할 준비를 마쳤다.
python
def trajectory_match_evaluator(run, example):
    actual_trajectory = [t['task'] for t in run.outputs['trajectory']]
    expected_trajectory = example.outputs['expected_trajectory']
    # 일치율 계산 로직
    score = len(set(actual_trajectory) & set(expected_trajectory)) / len(expected_trajectory)
    return {"score": score, "key": "trajectory_match"}

에이전트의 실행 궤적 일치율을 계산하는 평가기 코드 예시

04:00

LangSmith 대시보드 결과 분석

LangSmith 대시보드에서 에이전트의 실행 궤적, 데이터셋, 평가 점수를 최종 확인했다. 복잡한 에이전트 실행 과정이 시각화된 트레이스로 나타났으며, 2026년 AI 트렌드 분석 결과가 요약된 형태로 출력됐다. 평가 결과 예상 궤적과 실제 출력이 높은 일치율을 보임을 확인하며 개발 사이클을 마무리했다.

용어 해설

서브에이전트(Subagent)
메인 에이전트의 지시를 받아 특정 하위 작업을 수행하는 독립적인 에이전트 단위이다. 복잡한 작업을 분할하여 병렬로 처리하거나 전문화된 기능을 수행하게 함으로써 전체 시스템의 효율성을 높인다.
궤적 매칭(Trajectory Matching)
에이전트가 목표를 달성하기 위해 거친 일련의 단계가 의도한 설계와 일치하는지 비교하는 평가 방식이다. 최종 답변뿐만 아니라 중간 추론 과정의 정확성을 검증하는 데 필수적이다.
LangSmith 명령줄 인터페이스(LangSmith CLI)
LangSmith 플랫폼의 기능을 터미널에서 직접 제어할 수 있는 도구이다. 트레이스 데이터 추출, 데이터셋 생성, 평가 실행 등의 작업을 자동화된 워크플로우에 통합할 수 있게 해준다.
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 03. 05.수집 2026. 03. 05.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.