MerchantBench: 전자상거래 장기 일관성 벤치마크

실세계 자율 에이전트는 즉시 완료 판정이 가능한 단회성 과제보다 과거 결정이 미래 선택을 제약하고 피드백 지연이 존재하는 지속 운영 환경에서 성능을 유지해야 한다는 점이 중요하다. MerchantBench는 98,843개 실상품과 365일 주문 레벨 시뮬레이션으로 이러한 장기 일관성 요구를 재현하며, 지연된 주문 결과와 즉시 관찰 가능한 공급자 이벤트를 동시에 포함하는 환경을 제공한다. 따라서 도구 호출, 메모리 압축, 요인 귀인, 정책 수정 능력 같은 에이전트 설계 요소가 장기간 목표 달성에 미치는 정량적 영향을 평가할 수 있다.

전자상거래 판매자 운영은 과거 선정·상장·가격 결정이 이후 주문 발생과 현금흐름을 즉시 또는 지연된 형태로 결정하는 장기적 의사결정 문제이다. MerchantBench는 이 문제를 POMDP로 모델링하여 매시간 수요와 공급자 상태가 진화하고 에이전트는 12시간 간격의 의사결정 창에서 도구를 호출해 상점 포트폴리오와 자금흐름을 조정하도록 구성한다. 혼합 지연 피드백 구조 때문에 유리한 행동인지 실수인지 판별하려면 지연된 주문 결과를 초기 결정과 연결해 인과를 귀인하고 그에 따라 상장·재소싱·재가격을 수정해야 한다.

환경은 시간 해상도를 시간단위로 두고 총 제어 기간 H_{c}=8,760(365일)로 구성되며 에이전트는 12시간(12 스텝)마다 결정 창을 부여받는다. 실데이터 기반 카탈로그(98,843개 상품)와 26개 도구 인터페이스를 통해 제품 검색, 상장·가격 제어, 자금관리, 공급자·주문 조회를 수행할 수 있게 구현했다. 상류 이벤트는 상품별 확률로 샘플링된 가격변동·상품삭제·발송지연을 적용하고, 하류는 Eq.(3)로 시간단위 도착강도를 계산한 뒤 포아송 샘플링으로 주문을 생성하여 각 주문의 라이프사이클을 따르게 했다. 실험은 ReAct(간단 컨트롤러)와 Hermes(플래닝·메모리·스킬관리 내장) 두 프레임워크에 8개 LLM을 조합해 각 구성 3회 반복, 총 48회의 365일 시나리오를 실행했다.

전체적으로 인간 참가자는 평균 최종 순자산 217.61(천 RMB)을 기록했고, 평가된 LLM 에이전트들은 인간 성과에 크게 못 미쳤다. 논문은 최고 LLM 구성도 인간 평균의 27.3% 수준에 그쳤다고 보고되며, 프레임워크별로는 Hermes가 평균 최종 순자산에서 ReAct보다 53.3% 높은 성과를 보였다. 모델별 특성으로는 GPT-5.6 Sol이 ReAct에서, Qwen3.7-Max가 Hermes에서 최상 성능을 보였고 활동성 지표인 SWR은 인간이 100%인 반면 모델들은 10.6%에서 99.4%까지 넓은 편차를 나타냈다.

환경은 POMDP로 정의된 후 시뮬레이터가 시간 단위로 전진하고 에이전트는 12시간마다 의사결정 창을 얻는 구조이다. 수요 강도는 논문 Eq.(3)로 정의되며 식은 $\lambda_{m,i,t}=D_{i,d(t)} w_{c(i),h(t)} r_{m,t} \ell_{m,i,t} (p_{m,i,t}/p_{i}^{\mathrm{ref}})^{-\epsilon_{i}}$이다. 여기서 $D_{i,d(t)}$는 실데이터의 일수요, $w_{c(i),h(t)}$는 범주·시간대 가중치, $r_{m,t}$는 상점 평점에 따른 수요 조정, $\ell_{m,i,t}$는 상장 노출 계수, $p_{m,i,t}/p_{i}^{ref}$는 가격 비율이며 $\epsilon_{i}$는 가격 탄력성이다. 계산 흐름은 일일 수요와 시간·노출·평점·가격 인자를 곱해 시간단위 기대 도착률 $\lambda$를 얻고, 그 다음 $N\sim\mathrm{Poisson}(\lambda)$로 도착수를 샘플해 주문 후보를 생성하는 방식이다. 예를 들어 $D=1000$, $w=0.1$, $r=1$, $\ell=1$, 가격비=1, $\epsilon=1.5$이면 $\lambda\approx100$이 되어 시간단위 기대 주문수가 100이 되고 포아송 샘플링은 이 값을 중심으로 도착수를 생성한다.

MerchantBench는 판매자 측 드롭쉬핑 운영에 초점을 맞추어 플랫폼·소비자 행동의 다른 형태로 일반화하기 어렵다. 시뮬레이터는 공급자 이상 이벤트의 내부 트리거와 회복 스케줄을 숨기고 회복 시간을 샘플링하는 가정을 사용하므로 실제 플랫폼의 인과 구조와 차이가 있을 수 있다. 데이터는 1688 플랫폼의 2025년 6월~2026년 5월 기록으로 구성되어 시계열적·지리적 편향이 존재할 가능성이 있다.