이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Credit Genie는 AI 금융 비서 AskGenie를 구축하며 에이전트 오케스트레이션에 LangGraph를, 추적 및 평가에는 LangSmith를 도입했다. 유사한 도구 간의 혼동 문제를 해결하기 위해 두 개의 평가기를 설계하여 의도를 검증하고, LangSmith의 추적 기능을 통해 에이전트의 추론 과정을 시각화했다. 또한 LangSmith Insights로 프로덕션 트레이스를 유스케이스별로 분류하고 이를 테스트 질문으로 변환하여 수천 개의 트레이스를 수동 작업 없이 효율적으로 디버깅했다. 이 과정을 통해 에이전트의 특정 동작을 정밀하게 테스트하고 성능을 개선했다.
챕터별 상세
AskGenie 구축 배경
Credit Genie는 AI 금융 비서 AskGenie를 개발했다. 에이전트 오케스트레이션 레이어로 LangGraph를, 추적 및 평가를 위해 LangSmith를 사용했다.
자연어 기반 금융 비서
사용자는 AskGenie와 자연어로 대화하며 개인 회계사처럼 금융 상태를 관리한다. 에이전트는 사용자의 질문을 이해하고 적절한 금융 정보를 제공한다.
에이전트 도구 혼동 문제
AI 에이전트는 유사한 기능을 가진 도구들이 많을 때 혼동을 일으킨다. 특히 도구 간의 역할이 겹치면 에이전트가 잘못된 도구를 선택하는 문제가 발생한다.
도구 선택 오류 사례
AskGenie는 두 개의 고객 지원 도구를 혼동하여 잘못된 응답을 생성했다. 이는 에이전트가 의도에 맞는 도구를 정확히 식별하지 못했기 때문이다.
평가기 설계 및 구현
팀은 에이전트의 의도를 정확히 파악하기 위해 두 개의 평가기를 설계했다. 이를 통해 에이전트가 올바른 도구를 선택하는지 검증했다.
추적성을 통한 추론 분석
LangSmith의 추적 기능을 활용하여 에이전트의 추론 과정을 시각화했다. 이를 통해 에이전트가 왜 특정 도구를 선택했는지 단계별로 분석했다.
수동 디버깅의 한계
수천 개의 프로덕션 트레이스를 수동으로 디버깅하는 것은 비효율적이고 어려웠다. 대규모 트레이스를 관리할 자동화된 방법이 필요했다.
Insights를 활용한 세그먼트 분석
LangSmith Insights를 사용하여 트레이스를 유스케이스별로 분류했다. 이를 통해 특정 상황에서의 에이전트 동작을 더 쉽게 파악했다.
트레이스의 테스트 질문 전환
실제 프로덕션 트레이스를 기반으로 타겟팅된 테스트 질문을 생성했다. 이를 통해 에이전트의 성능을 검증하는 테스트 케이스를 구축했다.
특정 동작 단위 테스트
한 번에 하나의 특정 동작을 테스트하는 방식으로 검증을 수행했다. 이를 통해 에이전트의 동작 일관성을 확보했다.
LangChain과의 협업 경험
LangChain 팀과의 협업은 마치 내부 팀과 일하는 것처럼 느껴졌다. 기술적인 문제에 대해 신속한 답변과 지원을 받았다.
신속한 문제 해결
기술적 질문에 대해 몇 분 내로 답변을 받았다. 이러한 빠른 피드백 루프가 개발 속도를 가속화했다.
용어 해설
- 랭그래프(LangGraph)
- — LLM 기반 에이전트의 흐름을 그래프 구조로 정의하고 관리하는 오케스트레이션 라이브러리이다. 복잡한 에이전트의 상태 관리와 순환 구조를 명시적으로 설계할 수 있어 에이전트의 제어력을 높인다.
- 랭스미스(LangSmith)
- — LLM 애플리케이션의 개발, 테스트, 배포 및 모니터링을 지원하는 MLOps 플랫폼이다. 에이전트의 실행 과정을 추적(Tracing)하고 평가(Evaluation)하여 성능을 최적화하는 데 사용된다.
- 추적성(Traceability)
- — AI 에이전트가 특정 답변을 도출하기까지 거친 모든 단계와 추론 과정을 기록하고 시각화하는 기능이다. 문제 발생 시 원인을 파악하고 디버깅하는 데 필수적이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 28.수집 2026. 07. 28.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
