UniClawBench: 실환경에서 능동형 에이전트를 진단하는 능력 중심 벤치마크

실제 도구와 라이브 환경에서 작동하는 능동형 에이전트의 성능은 샌드박스 결과와 큰 차이를 보일 수 있다는 점이 관찰되었다. UniClawBench는 단회 채점이 아닌 다회 피드백 루프와 체크포인트 기반 채점으로 실세계 복잡성과 상호작용 복구 능력을 직접 계측한다. 이를 통해 에이전트 실패의 원인을 모델 능력과 프레임워크 설계 차원으로 분리해 진단할 수 있다.

기존 에이전트 벤치마크는 정적 정답과 단회 평가에 의존해 실세계의 동적 변화와 반복 피드백 상호작용을 반영하지 못했다는 한계가 존재한다. 이 논문은 에이전트가 도구 호출·장기 증거 축적·멀티모달 근거 활용·플랫폼 간 상태 동기화 등 다양한 능력을 독립적으로 평가해야 진짜 실패 원인을 찾을 수 있다는 인식에서 출발한다. 따라서 작업을 능력 중심으로 분해하고 각 과제를 해당 능력의 주된 병목에 맞추어 설계함으로써 어떤 능력이 부족한지 직접 진단할 수 있게 했다.

전체 평가 파이프라인은 Docker 기반의 격리 실행환경에서 Executor가 과제를 수행하면 실행 궤적과 산출물을 수집해 별도 워크스페이스의 Hidden Supervisor가 체크포인트 루브릭으로 채점하는 구조이다. Supervisor는 단계별 통과 조건을 내부 참조와 비교해 구조화된 상태(pass/fail/continue)와 정량 점수를 생성하고, User Simulator에는 이 상태와 가시적 증거만을 제공해 자연어 피드백을 생성하게 하여 정보격벽을 유지한다. 실행 환경은 각 과제마다 지정된 툴·파일·서비스를 포함한 task package를 주며, Executor는 결과 디렉토리에 증거를 저장하도록 규정되어 있어 자동화된 증거 기반 채점이 가능하다.

자동 채점 파이프라인의 신뢰성을 검증하기 위해 무작위로 추출한 50개 실행 궤적을 세 명의 인간 전문가가 평가한 결과, 자동 pass/fail 결정은 인간 다수결과 92.0%의 일치를 보였다. 체크포인트 기반의 연속 점수는 인간 평균과 Pearson 상관계수 r=0.71, Spearman ρ=0.68의 강한 상관관계를 보였다. 교차 모델 실험에서는 Claude Opus-4.8와 GPT-5.4 계열이 전체적으로 높은 평균 성과를 보였으나 전체 통과율은 50%를 넘지 않았고, Skill Usage 및 Exploration에서 상대적으로 높은 통과율을 기록한 반면 Long-Context, Multimodal, Cross-Platform 과제에서 성과가 저조해 장기 기억과 멀티모달 근거 결합, 플랫폼 간 조정이 주요 병목임이 확인되었다.

아키텍처는 세 역할(Executor, Hidden Supervisor, User Simulator)로 구성되며 Supervisor는 내부 참조와 체크포인트 루브릭으로 세부 채점값을 산출한다. 모든 작업은 격리된 Docker 컨테이너에서 실행되며 Executor는 공개 입력과 툴만 접근 가능하고 비밀 참조는 노출되지 않는다. 시간 제한은 표준 과제에서 전체 타임아웃 30분·턴별 타임아웃 20분으로 설정되며 장기문맥 과제는 각각 45분·30분으로 늘려 대규모 입력 처리 여건을 마련했다.

논문에서 명시한 한계로는 수동으로 선별한 400개 과제가 상대적으로 적은 규모라는 점이 있다. 실환경 실행은 라이브 서비스 변화로 인해 결과 불안정성이 발생할 수 있으며 이로 인해 재현성에 제약이 있을 수 있다. 또한 평가 일부를 LLM 기반 에이전트(예: Supervisor·User Simulator)에 의존함으로써 평가 편향이 유입될 가능성을 인정했다.