가운틀렛벤치: 익숙하지 않은 환경에서 에이전트 능력을 재평가하는 웹 기반 벤치마크

현행 웹/OS 에이전트 벤치마크는 폼·네비게이션 중심으로 포화 상태에 이르러 실제 산업용 인터페이스에서 요구하는 시각·시간·3D 추론 능력을 제대로 평가하지 못했다. 이 논문은 캔버스 기반 UI와 복합 과제로 구성된 평가판을 통해 최전선 에이전트의 일반화 능력과 한계를 계량적으로 드러냈다.

현행 웹·OS 에이전트 벤치마크는 주로 구조화된 텍스트·폼 조작 작업을 다루어 최근 MLLM 기반 에이전트의 성능이 포화되는 경향이 있었다. 그러나 실제 전문 소프트웨어 환경은 캔버스 렌더링, 시각적 시간 흐름, 3D 공간관계 같은 비정형 시각 증거를 필요로 하며, 이들 능력은 DOM이나 단순 툴 사용만으로는 보완되지 않는다.

환경은 관찰 공간 O, 행동 공간 A, 상태 전이 T, 보상 R로 수학적으로 정형화되며 에이전트는 각 시점의 스크린샷(및 일부 앱에서의 접근성 트리)을 입력으로 받는다. 행동은 Playwright 수준의 고수준 명령(클릭·타이핑·스크롤·드래그 등)으로 표현되어 브라우저 자동화를 통해 실행된다. 애플리케이션 구현은 캔버스 기반 렌더링을 주로 사용해 구조화된 DOM 접근을 제한하고, Video Editor와 Workflow Builder에만 최소한의 접근성 정보가 제공된다.

주요 실험에서 Claude-Opus-4.6 Computer Use(클로즈드) 평균 성공률은 19.1%로 가장 높았고 Gemini-3.1-Pro는 13.7%, GPT Computer Use는 4.3%를 기록했다. 오픈소스 MLLM 대부분은 응용별 성공률이 0–1.7%로 거의 무력했고 인간 비전문가는 평균 80.8%를 기록해 큰 격차가 나타났다. 진행도 점수(1–5)는 에이전트가 중간 진척을 보이지만 최종 정확성 확보에 실패함을 보여주었다.

환경 구현 세부사항으로는 스크린샷 간 변화 검출을 위한 전처리 기준(RMSE ≥ 0.03, pHash ≥ 5.0, 변경 픽셀 비율 ≥ 0.01)을 도입해 불필요한 프레임을 제거하고 Stage 1(프레임 쌍 파싱)에는 gpt-4o-mini, Stage 2(최종 가시적 성공 판단)에는 gpt-5.1을 사용해 증거 기반 채점을 수행한다. 각 애플리케이션별 객관 평가기는 도메인 규칙을 엄격히 적용하며 예: Video Editor는 블록 매칭을 순서 무관(pairing)으로 수행하고 시간 허용치는 Δ ≤ 100 ms로 설정한다.

논문은 다섯 개의 전문 도메인(비디오 편집, 워크플로우, 3D 모델링, 항공 분석, 회로 설계)에 한정되어 있어 전 산업 범주의 일반화를 주장하기에는 범위가 제한적이다. 또한 의도적으로 캔버스 기반 인터페이스를 통해 구조화된 접근을 제한해 일부 에이전트 설계(예: DOM 루트 활용)에 불리한 평가 환경을 만든 점이 있다.