AssetOpsBench: AI 에이전트 벤치마크와 산업 현장의 격차를 해소하다

섹션별 상세

AssetOpsBench는 칠러(Chiller)나 공조기(AHU)와 같은 산업 자산 운영을 위해 설계되었으며 230만 개의 센서 텔레메트리 포인트와 4,200개 이상의 작업 오더(Work Order)를 포함하는 방대한 데이터셋을 제공한다.

평가 프레임워크는 작업 완료도, 검색 정확도, 결과 검증, 시퀀스 정확성, 명확성 및 정당화, 환각률 등 6가지 정성적 차원을 통해 에이전트의 의사결정 궤적 품질을 측정한다.

TrajFM(Trajectory-level Failure Mode) 파이프라인을 도입하여 LLM 기반 추론과 통계적 클러스터링을 결합함으로써 에이전트가 실패하는 이유와 패턴을 체계적으로 분석하고 시각화한다.

커뮤니티 평가 결과 GPT-4.1, Mistral-Large, Llama-4 Maverick 등 주요 모델들이 테스트되었으나 복잡한 워크플로에서의 환각이나 도구 사용 오류로 인해 배포 가능 수준인 85점에 도달하지 못했다.

멀티 에이전트 환경에서는 단일 에이전트(68%) 대비 정확도가 47%로 급감하는 현상이 관찰되었으며 이는 컨텍스트 손실, 비동기 이슈, 연쇄적 실패 등 협업의 복잡성이 주요 원인으로 분석되었다.

에이전트의 도구 사용 능력은 고성능 에이전트(94%)와 저성능 에이전트(61%)를 가르는 가장 큰 차별화 요소로 나타났으며 도메인 지식 데이터베이스 접근 권한이 성능 향상에 기여했다.