이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Lorenzo는 Claude Code와 W&B MCP 서버를 활용하여 기존 AI 에이전트의 핵심 로직을 수정하지 않고도 Weave 기반의 관측성을 성공적으로 구현했다. 그는 새로운 Weave for Agents SDK를 사용하여 에이전트, 대화, 턴, LLM 호출로 이어지는 계층적 데이터 모델을 구성했다. 이 구조를 통해 에이전트의 실행 통계와 비용을 대시보드에서 상세히 모니터링하고, 개별 턴 단위로 도구 호출 및 LLM 응답을 추적하여 에이전트의 할루시네이션을 효과적으로 디버깅하는 방법을 보여주었다.
챕터별 상세
관측성 구현의 필요성
AI 에이전트의 동작을 추적하고 디버깅하기 위해 관측성(Observability)을 구현한다. 에이전트의 내부 상태를 외부에서 파악하여 문제 해결 효율을 높인다.
모델 추적 에이전트 구성
새로운 모델 출시 정보를 수집하는 에이전트가 동작한다. 에이전트는 프롬프트를 입력받아 모델 정보를 스크랩하고 결과를 반환한다.
W&B MCP 서버 연동
Claude Code에 W&B MCP 서버를 추가하여 외부 도구와 연동한다. API 키를 설정하고 서버를 연결하여 에이전트가 문서를 직접 참조하도록 한다.
bash
claude mcp add --transport http wandb https://mcp.withwandb.com/mcp --header "Authorization: Bearer [YOUR-WANDB-API-KEY]"Claude Code에 W&B MCP 서버를 추가하여 외부 도구와 연동하는 명령어이다.
Claude Code를 활용한 계측
Claude Code를 활용해 기존 로직을 변경하지 않고 Weave SDK로 계측 코드를 삽입한다. `@weave.op` 데코레이터 대신 새로운 SDK를 사용하여 데이터 모델을 구성한다.
text
Add observability to this agent using the Weave for Agents SDK. Do not use the weave.op decorators. Map my code to Weave's model like this: each research run -> as conversation, each provider workflow -> a turn, each search call and each llm call -> tool spans and llm spans.Claude Code에게 Weave SDK를 사용하여 에이전트에 관측성을 추가하도록 지시하는 프롬프트이다.
Weave 데이터 계층 구조
에이전트, 대화, 턴, LLM 호출로 이어지는 Weave의 데이터 계층 구조를 정의한다. 에이전트는 최상위 버킷이며, 대화는 하나 이상의 턴으로 구성된다.
계측 코드 검토
Claude Code가 삽입한 계측 코드를 확인한다. `observability.py` 파일 내에 Weave 관련 임포트와 설정이 추가되었으며, 기존 로직은 유지된 채 계측 코드만 추가되었다.
Weave 대시보드 분석
Weave 대시보드에서 에이전트의 실행 통계와 비용, 토큰 사용량을 확인한다. 3개의 에이전트가 실행 중이며, 오류율 0%와 함께 상세 비용 정보가 표시된다.
개별 에이전트 모니터링
개별 에이전트 단위로 상세 실행 내역을 드릴다운한다. 가장 최근 실행된 'model-release-tracker' 에이전트의 실행 데이터를 통해 상세한 추적 정보를 확보한다.
대화 및 추적 정보 상세 조회
대화 내역과 도구 호출, 추적 정보를 통해 에이전트의 동작 과정을 파악한다. 각 턴마다 호출된 도구와 LLM 응답, 참조한 웹사이트 정보를 상세히 열람한다.
할루시네이션 디버깅
에이전트가 생성한 잘못된 모델 정보를 추적하여 디버깅한다. 잘못된 모델 정보를 생성한 턴을 찾아내어 에이전트의 할루시네이션을 식별하고 수정한다.
용어 해설
- Weave
- — Weights & Biases에서 제공하는 AI 에이전트 추적 및 평가 도구이다. 에이전트의 실행 과정, 대화, 도구 호출 등을 계층적으로 기록하여 디버깅과 성능 최적화를 지원한다.
- Claude Code
- — Anthropic에서 제공하는 AI 코딩 에이전트이다. 터미널 환경에서 코드베이스를 이해하고, 수정 제안 및 실행을 자율적으로 수행하여 개발 생산성을 높인다.
- Model Context Protocol(MCP)
- — AI 모델과 외부 도구 및 데이터 소스를 연결하기 위한 표준 프로토콜이다. 모델이 외부 시스템과 상호작용할 때 일관된 인터페이스를 제공하여 연동을 간소화한다.
- 관측성(Observability)
- — 시스템의 내부 상태를 외부에서 출력되는 데이터를 통해 파악할 수 있는 능력이다. AI 에이전트의 경우 호출 로그, 추적 데이터 등을 통해 동작 과정을 분석하고 문제를 진단하는 데 필수적이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 25.수집 2026. 08. 25.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
