이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Nubank의 1억 3,500만 고객을 대응하는 AI 에이전트 배포 과정에서 평가(evals) 병목 현상을 해결한 사례이다. 기존의 수동 평가 방식은 다중 턴 대화의 상태 유지 특성 때문에 속도가 느렸으나, Snowglobe는 에이전트를 대상으로 고객 페르소나와 의도를 반영한 근거 기반 시뮬레이션을 생성하여 이를 해결했다. 시뮬레이션된 대화가 실제 데이터와 80% 유사함을 검증함으로써, 팀은 새로운 에이전트와 모델 변형을 빠르게 테스트하고 배포 주기를 20배 단축했다.
챕터별 상세
00:00
Nubank의 AI 에이전트 배포 성과
Nubank는 1억 3,500만 명의 고객을 보유한 대규모 환경에서 AI 에이전트를 운영한다. 기존 방식으로는 배포 속도가 느리고 평가가 어려웠으나, 현재는 5개의 에이전트를 프로덕션에 배포하여 고객 만족도를 높였다. 배포 주기를 이전 대비 20배 단축한 핵심 요인은 평가(evals) 병목을 해결한 것이다. 대규모 서비스에서 AI 에이전트의 신뢰성을 확보하는 성과가 확인됐다.
02:34
평가의 중요성
에이전트 배포 과정에서 평가(evals)는 가장 큰 병목 구간이다. 수동 평가 방식은 속도가 느려 빠른 배포를 저해한다. 평가 자동화가 이루어지지 않으면 에이전트의 성능을 신뢰할 수 없다.
02:47
시뮬레이션 데이터의 역할
실제 고객 대화 데이터를 기다리는 대신 시뮬레이션 데이터를 활용한다. 시뮬레이션은 실제 대화와 유사한 환경을 즉각적으로 생성한다. 이를 통해 실제 데이터가 쌓일 때까지 기다릴 필요 없이 테스트가 가능하다.
03:49
에이전트 평가의 어려움
에이전트 평가는 단일 턴 질의응답과 다르다. 다중 턴으로 구성된 대화는 상태(state)를 유지해야 하므로 평가가 복잡하다. 수동으로 데이터를 큐레이션하는 작업은 시간이 오래 걸린다.
04:49
기존 평가 방식의 한계
현재 팀들은 수동 큐레이션에 의존한다. 이는 생산성을 저하시키는 주요 원인이다. 자동화된 평가 데이터 확보가 필수적이다.
06:44
Snowglobe를 통한 시뮬레이션
Snowglobe는 에이전트를 대상으로 시뮬레이션을 생성한다. 수주가 걸리던 평가 작업을 분 단위로 단축했다. 이를 통해 빠른 반복이 가능해졌다.
08:48
근거 기반 시뮬레이션 예시
Maria가 신용카드를 주문하는 시나리오를 예로 든다. 계정 맥락, 어조, 의도를 포함한 근거 기반 시뮬레이션을 생성한다. 에이전트가 실제와 유사한 환경에서 어떻게 반응하는지 테스트한다.
10:31
배포-관찰-시뮬레이션 루프
배포, 관찰, 시뮬레이션, 피드백의 루프를 구축한다. 이 루프를 통해 에이전트를 지속적으로 개선한다. 평가 병목이 사라지면서 개발 속도가 빨라졌다.
11:34
시뮬레이션의 정확도
인간 리뷰 결과, 시뮬레이션된 대화는 실제 대화와 약 80%의 유사성이 확인됐다. 이 수치는 새로운 에이전트를 도입하고 위험을 줄이기에 충분하다. 셀프 서비스 비율을 보호하는 데 기여한다.
13:43
모델 및 에이전트 변형 테스트
평가 병목이 해소되면서 오픈 모델과 다양한 에이전트 변형을 자유롭게 테스트한다. 정렬된 메트릭과 저렴한 시뮬레이션 비용 덕분에 실험이 활발해졌다.
용어 해설
- 평가(Evals)
- — AI 모델이나 에이전트의 성능을 측정하는 과정이다. 에이전트의 경우 다중 턴 대화의 상태 유지 특성 때문에 평가가 복잡하며, 이를 자동화하는 것이 배포 속도를 결정짓는 핵심 요소이다.
- 다중 턴 대화(Multi-turn Conversation)
- — 사용자와 AI 에이전트가 여러 번 대화를 주고받는 상호작용 방식이다. 대화의 맥락과 상태를 유지해야 하므로 단일 턴 질의응답보다 평가와 테스트가 훨씬 어렵다.
- 근거 기반 시뮬레이션(Grounded Simulation)
- — 실제 고객의 페르소나, 의도, 계정 맥락 등을 반영하여 생성한 가상 대화 데이터이다. 실제 데이터를 기다리지 않고도 에이전트의 성능을 테스트할 수 있게 해준다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 30.수집 2026. 07. 30.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
