UniClawBench: 실환경에서 능동형 에이전트를 진단하는 능력 중심 벤치마크

왜 중요한가

실제 도구와 라이브 환경에서 작동하는 능동형 에이전트의 성능은 샌드박스 결과와 큰 차이를 보일 수 있다는 점이 관찰되었다. UniClawBench는 단회 채점이 아닌 다회 피드백 루프와 체크포인트 기반 채점으로 실세계 복잡성과 상호작용 복구 능력을 직접 계측한다. 이를 통해 에이전트 실패의 원인을 모델 능력과 프레임워크 설계 차원으로 분리해 진단할 수 있다.

핵심 기여

능력 중심 분류와 400개 이중언어 실세계 과제 제공

논문은 작업을 Skill Usage, Exploration, Long-Context, Multimodal, Cross-Platform의 다섯 역량으로 분류하고, 각 역량마다 80개의 총 400개 과제를 수작업으로 구성했다. 모든 과제는 Docker 컨테이너에서 실제 소프트웨어와 라이브 브라우저를 사용하도록 설계되어 샌드박스 편향을 최소화했다. 과제 설계는 각 과제가 주로 한 능력에 병목이 걸리도록 제약을 두어 실패 원인 진단을 용이하게 했다.

체크포인트 기반 루브릭과 비밀 감독자 구조를 갖춘 폐쇄형 반복 평가 방식 제안

평가는 실행자(Executor), 비밀 감독자(Supervisor), 사용자 시뮬레이터(User Simulator)의 세 역할로 구성되어 감독자는 세부 점검 기준과 참조를 비공개로 유지한다. 감독자는 각 단계별 체크포인트를 이용해 pass/fail/continue 상태와 세부 근거를 산출하고, 시뮬레이터에는 높은 수준의 진행 신호만 노출해 정보 누설을 방지한다. 이 구조는 실세계의 가변성 속에서도 반복적 상호작용을 통한 오류 복구 능력을 평가 가능하게 했다.

다중 모델·다중 프레임워크에 대한 교차 비교 실험으로 모델역량과 프레임워크 설계 영향 분리

OpenClaw, Nanobot, EDICT 세 프레임워크와 10개의 최신 모델을 조합해 교차 실험을 수행했다. 동일 모델을 동일 프레임워크에서 비교해 모델 고유 성능을 추출하고, 동일 모델을 다른 프레임워크에서 실행해 프레임워크 설계가 성능에 미치는 영향을 분리했다. 실험 결과는 프레임워크 선택이 모델 선택만큼 또는 그 이상으로 성능을 좌우할 수 있음을 시사했다.

핵심 아이디어 이해하기

기존 에이전트 벤치마크는 정적 정답과 단회 평가에 의존해 실세계의 동적 변화와 반복 피드백 상호작용을 반영하지 못했다는 한계가 존재한다. 이 논문은 에이전트가 도구 호출·장기 증거 축적·멀티모달 근거 활용·플랫폼 간 상태 동기화 등 다양한 능력을 독립적으로 평가해야 진짜 실패 원인을 찾을 수 있다는 인식에서 출발한다. 따라서 작업을 능력 중심으로 분해하고 각 과제를 해당 능력의 주된 병목에 맞추어 설계함으로써 어떤 능력이 부족한지 직접 진단할 수 있게 했다.

방법론

전체 평가 파이프라인은 Docker 기반의 격리 실행환경에서 Executor가 과제를 수행하면 실행 궤적과 산출물을 수집해 별도 워크스페이스의 Hidden Supervisor가 체크포인트 루브릭으로 채점하는 구조이다. Supervisor는 단계별 통과 조건을 내부 참조와 비교해 구조화된 상태(pass/fail/continue)와 정량 점수를 생성하고, User Simulator에는 이 상태와 가시적 증거만을 제공해 자연어 피드백을 생성하게 하여 정보격벽을 유지한다. 실행 환경은 각 과제마다 지정된 툴·파일·서비스를 포함한 task package를 주며, Executor는 결과 디렉토리에 증거를 저장하도록 규정되어 있어 자동화된 증거 기반 채점이 가능하다.

주요 결과

자동 채점 파이프라인의 신뢰성을 검증하기 위해 무작위로 추출한 50개 실행 궤적을 세 명의 인간 전문가가 평가한 결과, 자동 pass/fail 결정은 인간 다수결과 92.0%의 일치를 보였다. 체크포인트 기반의 연속 점수는 인간 평균과 Pearson 상관계수 r=0.71, Spearman ρ=0.68의 강한 상관관계를 보였다. 교차 모델 실험에서는 Claude Opus-4.8와 GPT-5.4 계열이 전체적으로 높은 평균 성과를 보였으나 전체 통과율은 50%를 넘지 않았고, Skill Usage 및 Exploration에서 상대적으로 높은 통과율을 기록한 반면 Long-Context, Multimodal, Cross-Platform 과제에서 성과가 저조해 장기 기억과 멀티모달 근거 결합, 플랫폼 간 조정이 주요 병목임이 확인되었다.

기술 상세

아키텍처는 세 역할(Executor, Hidden Supervisor, User Simulator)로 구성되며 Supervisor는 내부 참조와 체크포인트 루브릭으로 세부 채점값을 산출한다. 모든 작업은 격리된 Docker 컨테이너에서 실행되며 Executor는 공개 입력과 툴만 접근 가능하고 비밀 참조는 노출되지 않는다. 시간 제한은 표준 과제에서 전체 타임아웃 30분·턴별 타임아웃 20분으로 설정되며 장기문맥 과제는 각각 45분·30분으로 늘려 대규모 입력 처리 여건을 마련했다.

한계점

논문에서 명시한 한계로는 수동으로 선별한 400개 과제가 상대적으로 적은 규모라는 점이 있다. 실환경 실행은 라이브 서비스 변화로 인해 결과 불안정성이 발생할 수 있으며 이로 인해 재현성에 제약이 있을 수 있다. 또한 평가 일부를 LLM 기반 에이전트(예: Supervisor·User Simulator)에 의존함으로써 평가 편향이 유입될 가능성을 인정했다.

실무 활용

이 벤치마크는 실제 도구와 다중 상호작용 시나리오에서 에이전트의 약점 진단용으로 실무에 활용 가능하다. 공개된 저장소와 Docker 기반 실행 환경은 연구자와 개발자가 프레임워크 변경이 성능에 주는 영향을 재현하고 개선점을 검증하는 데 실용적 근거를 제공한다.

에이전트 기반 제품의 회귀 테스트에서 프레임워크 변경이 미치는 영향 분석.
모델 업그레이드 전후에 능력별(예: 멀티모달, 장기추론) 성능 추적용 벤치마크로 활용.
도구 통합 및 스킬 설계 수정을 통해 실제 작업 파이프라인의 취약점을 보완하는 데 사용.

코드 공개 여부: 공개

코드 저장소 보기

키워드

multimodal(멀티모달)proactive-agent(능동형 에이전트)capability-driven-benchmark(능력 중심 벤치마크)closed-loop-evaluation(폐쇄형 반복 평가)executor-supervisor-simulator(실행자·감독자·시뮬레이터)cross-platform(교차 플랫폼)

용어 해설

능동형 에이전트(Proactive Agent): — 사용자 지시를 기다리지 않고 목표를 자율적으로 추구하고 도구를 호출해 작업을 수행하는 에이전트 개념으로, 상태 유지·스킬 호출·장기 계획 역량을 결합하여 개인 비서 수준의 자동화를 목표로 한다.
폐쇄형 반복 평가(Closed-Loop Evaluation): — 에이전트의 중간 산출물에 대해 사용자형 피드백을 여러 차례 주고받으며 수행을 완결하는 평가 방식으로, 단회 응답이 아닌 반복적 상호작용을 통한 오류 복구 능력을 측정한다.
비공개 감독자(Hidden Supervisor): — 평가기준과 참조를 독립적으로 보유하며 실행 궤적과 산출물을 세부 체크포인트 기반 루브릭으로 채점하는 내부 평가자 역할로, 외부 피드백 에이전트에 채점 기준을 누설하지 않도록 설계된다.
사용자 시뮬레이터(User Simulator): — 에이전트가 작성한 가시적 결과만을 바탕으로 자연어 피드백을 생성하는 역할로, 실제 사용자가 줄 수 있는 교정·추가요구를 흉내내되 채점 참조에는 접근하지 못하도록 정보격벽을 유지한다.
능력 중심 분류법(Capability-Driven Taxonomy): — 작업을 도메인 대신 핵심 역량(예: Skill Usage, Exploration, Long-Context, Multimodal, Cross-Platform)별로 분류하여 실패 원인을 더 정확히 규명할 수 있게 하는 과제 설계 원칙이다.

UniClawBench: 실환경에서 능동형 에이전트를 진단하는 능력 중심 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.

복합 실세계 작업을 평가하는 모바일 에이전트 벤치마크

실제 업무를 끝내는 Agent의 조건

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.

복합 실세계 작업을 평가하는 모바일 에이전트 벤치마크

실제 업무를 끝내는 Agent의 조건