CODS 2025 ASSETOPSBENCH 대회 결과 및 회고 분석

에이전트 기반의 멀티-에이전트 시스템을 산업 현장에 적용하려는 흐름에서 평가의 신뢰성은 핵심이다. CODS 2025 ASSETOPSBENCH는 산업 데이터의 멀티모달성과 프라이버시 제약을 동시에 다루며, 공개(score_pub)와 숨김(score_priv) 점수 간의 상관관계 부재, 점수 구성의 민감성, 그리고 트랙 간 분리의 효과를 분석한다. 이를 통해 실제 배치에서의 로버스트성(Robustness)과 일반화 성능을 평가하는 벤치마크 설계의 방향성을 제시한다.

출발점: 에이전트 기반 시스템의 평가가 단일 벤치마크 지표에 의존하는 전형적 한계를 가진다. 설명: ASSETOPSBENCH는 Plan과 Execution의 분리된 트랙과, 공개-숨김 평가, 그리고 프라이버시 제약이 결합된 현장형 산업 도메인을 통해 실제 환경에서의 강건성 및 일반화 능력을Trajectory-수준으로 측정한다. 방법: 141개 시나리오의 공유 데이터셋, 도커 컨테이너 기반 동일 실행환경, LLaMA-3-70B 기반 평가모델, 3단계 평가(로컬 워밍업-개발-평가), 트랙별 점수 구성 Ct = 0.6 S_pub + 0.3 S_priv + 0.1 τt, F = 0.4 Cplan + 0.6 Cexec, ∆ = Spriv − Spub 이고, 최종 순위는 Track 가중치를 반영해 합산한다. 달라지는 점: (i) 공-숨 점수의 불일치로 인해 벤치마크가 진정한 일반화 능력을 잘 반영하지 못할 수 있으며, (ii) t-match가 0.05 포인트 수준으로만 기여하여 순위에 큰 영향이 없더라도 설계 상의 민감도 문제를 야기한다, (iii) execution이 가드레일 중심의 경향을 보여 아키텍처 혁신보다 구현/안정성이 더 큰 비중을 차지한다.

• 전체 접근: 두 트랙으로 구성된 경쟁 프레임워크로, Track 1은 planner를 수정하고 Track 2는 executor를 수정하는 editable 영역이 존재한다. Track 1의 track1_planning.py는 수정 가능 영역이며, Track 2의 track2_execution.py는 동적 워크플로우를 도입하는 수정가능 영역이다. - 공통 요소: 모든 제출은 고정된 LLaMA-3-70B 모델을 사용하며, 2–3 시나리오로 로컬 워밍업, 11개 개발 시나리오(Phase 1), 11개 평가 시나리오(Phase 2)로 확장된다. - 점수 구성: per-track Ct = 0.6 S_pub_t + 0.3 S_priv_t + 0.1 τ_t, F = 0.4 Cplan + 0.6 Cexec, ∆ = Spriv − Spub. - 시나리오 구성: 11개 개발 시나리오와 11개 평가 시나리오의 surface 형태를 다르게 구성해 surface 형태의 일반화 능력을 평가한다. - 아키타입 분석: 331개 소스 아티팩트를 임베딩 후 HDBSCAN/UMAP로 7개 Planning Archetype과 3개 Execution Archetype으로 구분한다. - 실패 모드 분석: 36,884 개의 실패 사례를 라벨링하고, 계층적 트리로 분류하여 핵심 실패 원인을 파악한다.

• 참여자 및 신호: 총 149개 팀, 349 명의 멤버 슬롯, 300개 제출 시도, 234 Finished; 11개 팀이 공식 순위에 포함되었다. - 공개-숨김 점수의 차이: Planning 트랙은 공-숨 점수가 일정하게 차이났으며 (ρpub, priv). ρplan = 0.62(p=0.04)로 계획 트랙에서의 공-숨 정렬은 비교적 일정한 편이나 Execution 트랙에서 ρexec = -0.13(p=0.71)으로 거의 무작위에 가깝다. - 점수 구성 민감도: t-match 스케일의 재규격화(s)와 트랙 가중치(alpha)의 변화에 따라Top-1이 달라지며 Kendall τ 평균은 0.61로 중간 정도의 로버스트성을 보인다. - Saturation: 공도-제한적 평가의 상한이 존재하여, 상위 4팀의 계획 점수는 72.73으로 포화되어 있고, 최종 순위는 실행 점수에 더 큰 차이가 나타난다. - 비용 프로파일: WO 도메인이 가장 비용이 많이 들고 (토큰 244K, API 13.5, 145초), TSFM은 가장 저비용(토큰 35K, 6.1 API). E2E는 토큰은 중간이나 실행시간이 가장 길다(203초). - 시나리오 난이도: WO 시나리오가 가장 어렵고(예: Q424, Q405, Q400), 평가에서도 WO 시나리오의 hallucination이 높은 경향이 나타난다. - Top-submission 패턴: P1–P3의 Planning archetype이 Track 1의 32.4%를 차지하고, E1–E4의 Execution archetype가 Track 2의 88.4%를 차지한다. - 결론: 벤치마크는 평가 설계의 신뢰성을 강화하고, Track 분리, 서브스코어, 스케일 정규화, 팀 메타데이터 및 버전 관리 코드의 공개를 권고한다.