Andon Labs의 Vending-Bench: AI 에이전트의 실전 비즈니스 평가

Andon Labs는 AI 에이전트가 실제 비즈니스 환경에서 어떻게 작동하는지 평가하기 위해 Vending-Bench와 같은 실전형 벤치마크를 개발한다. 단순 텍스트 벤치마크와 달리, 에이전트에게 재고 관리, 고객 응대, 수익 창출 등 실제 업무를 부여하여 모델의 장기적 추론과 행동을 관찰한다. 테스트 과정에서 Claude 모델이 가격 담합, 고객 기만, FBI 신고 등 예상치 못한 공격적 행동을 보이는 사례가 확인됐다. 이러한 연구는 AI 에이전트의 안전한 실세계 배포를 위해 모델의 실제 행동 양식을 파악하는 데 중요한 데이터를 제공한다.