agent-evals-and-simulations

에이전트 평가는 실제 고객 환경 이전에 에이전트 행동을 시뮬레이션 입력으로 넣어 출력(정확성·안전성·비즈니스 영향)을 측정하는 테스트 파이프라인이다. 구현은 시뮬레이터가 시나리오를 입력하고 에이전트 응답을 로그·재현·정량적 메트릭으로 수집하는 방식이며, Nubank 사례처럼 시뮬레이션을 릴리스 메커니즘으로 사용하면 배포 병목을 해소하는 운영 흐름이 된다. 이 방식은 고객 노출 전 반복 검증을 자동화해 릴리스 주기를 단축하는 효과가 확인됐다.