CEO-BENCH: 에이전트가 장기 전략 게임을 할 수 있는가?

언어 모델 기반 에이전트는 짧은 목적 수행에 집중한 평가가 많으나, 현실 세계의 중요한 성과는 불확실성과 지연된 피드백 하에서의 다단계 의사결정이다. CEO-BENCH는 500일간의 시뮬레이션에서 가격, 마케팅, 제품, 인프라, enterprise 영업 등 다수의 영역을 아우르는 정책들을 한꺼번에 조정하고, 노이즈가 섞인 신호에서 숨겨진 구조를 추론하며, 시간에 따라 변화하는 환경에 적응하는 능력을 평가한다.

단계 1: 장기 의사결정은 단일 작업의 최적화가 아닌, 불확실성과 지연된 피드백이 얽힌 연쇄적 결정의 조합이다. Attention 기반 모델이 단일 태스크를 잘하더라도 장기적 목표를 달성하기 어렵다. 단계 2: 본 연구는 500일 시뮬레이션으로 에이전트의 가격, 성장, 품질, 신뢰성 등 여러 축을 통합 관리하도록 구성하고, 34개 도구와 19테이블 데이터베이스를 결합한 programmable Python 인터페이스를 제공한다. 또한 26개 고객 그룹과 비정상적 시장 변화, 경쟁사 반응을 반영해 정보 획득 및 의사결정을 통해 전략을 업데이트하는 능력을 평가한다. 단계 3: 실험 결과, 상위 모델(GPT-5.5, Claude Opus 4.8)이 시작 자금 대비 자본을 늘릴 수 있었고, 개발 투자와 마케팅의 분배 방식이 최종 수익에 큰 차이를 만든다는 점이 관찰된다. 서로 다른 경로로 유의미한 이익을 얻는 사례를 보이며, 강건한 전략의 필요성을 시사한다.

단락 1: 전체 접근 방식과 핵심 아이디어 — 500일 시뮬레이션, 34도구, 19테이블 데이터베이스, novamind_api를 통한 파이썬 스크립트 제어. 에이전트는 데이터베이스 질의(SQL)와 소셜 피드 모니터링으로 상태를 관찰하고, 도구를 조합해 정책을 실행한다. 단락 2: 핵심 메커니즘 — 가격/모델 티어/쿼타 관리, 성장/마켓 확장, 품질/R&D/신뢰성, 정보 수집, 대외 커뮤니케이션, 엔터프라이즈 영업 등의 도구를 조합해 워크플로를 구성한다. 매일 현금 흐름은 서브스크립션 수익, 인앱 광고 수익에서 시작해 운용비, 용량, 개발, 마케팅, 연구, 리드 획득 비용 등을 빼서 계산된다. 단락 3: 구현 세부 — 시뮬레이터의 26개 고객 그룹과 각 그룹의 가격-품질 선호를 모델링하며, 피드백은 관측 데이터(구독, 이탈, 매출, 명성 등)로만 주어져 숨겨진 변수는 추론한다. 단락 4: 학습/실험 설계 — 500일 동안 세 모델의 실행을 3회 반복해 최적Run을 선정하고(rule-based baseline 포함) 벤치마크를 구성한다.

메인 벤치마크 결과: Claude Opus 4.8의 최종 현금 최대값 27,776,973, 생존 기간 500일, GPT-5.5의 최종 현금 21,297,707, Claude Opus 4.7의 최종 현금 389,959 등으로 요약된다. 다수 모델은 파산했고, 단 두 모델만 시작 자금 1M을 넘겨 수익을 증가시켰다. Ablation 연구는 경쟁자 난이도와 horizon의 변화가 Task 난이도에 큰 영향을 준다는 점을 확인했다. Horizon을 50일로 축소한 실험에서도 GPT-5.5 만 이익 가능성이 남았다. Harness ablation은 Claude Code/Codex로의 전환이 행동 수를 감소시키고 성능을 저하시켰다. 효율성 분석에서는 GPT-5.5와 Claude Opus 4.8이 대다수 모델보다 더 많은 개발 예산을 타깃 개발에 투입하는 경향을 보였고, 타깃 그룹별 개발이 경쟁 압력에 대한 대응력을 높였다. 행동 분석은 상위 모델이 다양한 시나리오를 대비하는 메모를 남기고, 미래 정책을 탐색하는 경향을 보였다.

아키텍처: 에이전트는 novamind_api의 Python 인터페이스를 통해 34도구를 호출하고 19테이블의 데이터베이스를 조회한다. Dashboard, 데이터베이스, 소셜 피드, 연구 보고서, 협상 이력 등 관측 공간에서 지표를 수집한다. 핵심 수학적 근거는 일일 현금 변화 Bt+1 − Bt = Y_sub,t + ∑i Y_ads,i,t − K_capacity κt − ∑p χ_usagep Up,t − x_ops,t − x_dev,t − X_target-ops,t − ∑g x_target-dev g,t − ∑c,g x_ads c,g,t − Nlead t c lead − K_market t − K_group t − K_project t 이다. 고객은 26그룹으로 구성되며, 각 그룹에 대해 가격-품질 곡선에 따라 가입 여부를 결정한다. Delivered quality Q_del,g,p,t = q0 + b_shared,t + b_group,t + mp − βo ot − βout 1{outaget} 등의 요소를 통해 고객의 지각 품질을 계산한다. Promotions은 Pp,t, Πglobal, Πgroup, Πcustomer, Πgroup-plan, Πlead 등을 이용해 가격을 조정하고, 사용량 및 용량은 ui,t = round(min(ũi,t Wt, [Upi,t − Ūi,t]+), 0)로 결정된다. Patch된 R&D, targeted development, ad strength, events(경쟁사 이벤트, 경제 사이클, 시장 포화 등) 등의 변수로 공급·수요를 시뮬레이션한다. Enterprise 영업은 최대 Koffered 옵션에서 Surplus를 통해 수락 여부를 결정한다. 비용 Kcostt = Kcapacity κt + ∑p χusagep Up,t + xops,t + xdevt + Xtarget-ops,t + ∑c,g xads c,g,t + Nlead t c lead + Kmarket t + Kgroup t + Kproject t 이고, Bt+1 = Bt + Ysubt + ∑i Yads i,t − Kcostt 이다. 시스템은 지연된 피드백, 비정상적 변화, 상호의존적 다중 의사결정을 실세계와 유사하게 시뮬레이션하여 장기적 능력을 평가한다.

시뮬레이션은 현실과 차이가 있으며, 핵심 기능만 재현하고 규제/보안/펀딩 등은 제외된다.