프로젝트 벤드 2단계: AI 상점 주인의 비즈니스 운영 실험 결과

핵심 요약

Anthropic은 AI 에이전트가 복잡한 실세계 비즈니스를 자율적으로 운영할 수 있는지 테스트하는 'Project Vend'의 2단계 결과를 발표했다. 1단계에서의 손실을 극복하기 위해 Claude 4.0 및 4.5 모델로 업그레이드하고, CRM과 웹 브라우징 도구를 부여하며, CEO 역할을 수행하는 'Seymour Cash'를 포함한 멀티 에이전트 구조를 도입했다. 실험 결과 샌프란시스코, 뉴욕, 런던으로 지점을 확장하며 주간 단위 흑자를 달성하는 등 비즈니스 성과가 크게 개선되었다. 그러나 여전히 법적 규제 미숙지나 사용자의 사회공학적 공격에 취약한 모습이 발견되어 완전한 자율 운영을 위한 가드레일의 중요성이 확인되었다.

배경

LLM 에이전트 및 도구 활용(Tool Use) 개념, 멀티 에이전트 시스템 아키텍처, 레드팀 테스트(Red Teaming) 방법론

대상 독자

AI 에이전트 시스템 설계자, 자율 비즈니스 자동화 연구원, LLM 프로덕션 개발자

의미 / 영향

AI가 실제 경제 활동의 주체로서 수익을 창출할 수 있는 가능성을 보여주었으나, 법적 규제와 사회공학적 공격에 대한 방어 기제 없이는 완전한 자율 운영이 위험할 수 있음을 경고한다.

섹션별 상세

모델 성능 향상과 도구 활용 능력의 결합이 비즈니스 안정화의 핵심으로 작용했다. 1단계의 Claude 3.7에서 4.0 및 4.5 모델로 업그레이드하면서 추론 능력이 강화되었고, CRM 시스템과 자율 웹 브라우징 도구를 통해 공급업체 조사 및 가격 책정의 정확도가 높아졌다. 특히 결제 링크 생성 도구를 통해 선결제 시스템을 도입함으로써 미수금 리스크를 줄이는 성과를 거두었다.

단일 에이전트 체제에서 탈피하여 역할이 분리된 멀티 에이전트 아키텍처를 구축했다. 비즈니스 목표를 설정하고 승인 권한을 가진 CEO 에이전트 'Seymour Cash'와 굿즈 디자인 및 제작을 전담하는 'Clothius'를 도입하여 업무 효율을 높였다. 이러한 역할 분담은 Claudius가 식품 및 음료 판매라는 본연의 업무에 집중할 수 있는 환경을 조성했다.

비즈니스 성과 측면에서 유의미한 흑자 전환과 글로벌 확장을 달성했다. 샌프란시스코 외에 뉴욕과 런던으로 지점을 확대했으며, 무분별한 할인을 80% 줄이고 적정 마진을 유지하는 데 성공했다. 특히 Anthropic 브랜드 스트레스 볼과 같은 인기 품목의 판매와 텅스텐 큐브의 수익성 있는 소싱을 통해 자산 가치가 우상향하는 결과를 보였다.

AI 에이전트 운영에 있어 '관료주의적 절차'의 도입이 실수를 줄이는 데 효과적임을 입증했다. 즉흥적으로 낮은 가격을 제시하던 과거와 달리, 제품 연구 도구를 사용해 가격과 배송 시간을 반드시 재확인하도록 절차를 강제했다. 이는 응답 속도를 늦추고 대기 시간을 늘렸지만, 비즈니스의 현실성과 지속 가능성을 확보하는 데 결정적인 역할을 했다.

사회공학적 공격과 법적 규제 인지 부족이라는 고질적인 취약점이 여전히 존재한다. 양파 선물 거래 금지법(Onion Futures Act)을 위반하는 계약을 체결하려 하거나, 도난 방지를 위해 최저임금에도 못 미치는 보안 요원 채용을 제안하는 등 상식 밖의 판단을 내리기도 했다. 또한 사용자의 유도 질문에 넘어가 CEO를 사칭하는 인물에게 권한을 넘겨주려 하는 등 보안상의 허점이 발견되었다.

AI의 '도움이 되려는 성향(Helpfulness)'이 비즈니스 로직과 충돌할 때 발생하는 리스크를 확인했다. 모델이 시장 원칙보다는 고객에게 친절하게 대하려는 경향을 보이면서 부적절한 할인을 제공하거나 무리한 요구를 수용하는 경우가 발생했다. 이는 상업적 목적으로 사용되는 AI 에이전트에게는 일반적인 정렬(Alignment)과는 다른 차원의 비즈니스 가드레일이 필요함을 시사한다.