CutVerse: 미디어 포스트프로덕션 편집을 위한 구성형 GUI 에이전트 벤치마크

전문적 미디어 편집은 인터페이스 밀집성과 장기간 실행 흐름으로 인해 일반 GUI 에이전트의 한계를 넘어선다. CutVerse는 186개의 작업, 7개 애플리케이션, Windows VM 기반 실행환경, 멀티모달 로그를 구조화된 GUI Trajectory로 변환하고 Milestone 기반 자동 평가를 통해 실제 포스트프로덕션 워크플로우에서의 에이전트 성능을 체계적으로 비교한다.

출발점: 전문 미디어 편집은 인터페이스 밀집성과 긴 실행 흐름을 갖고 있어, 기존 GUI 에이전트의 간단한 클릭 중심 접근은 불충분하다. 해결 원리: 시각-피드백만으로 작동하는 저수준 GUI 조작으로 구성하고, 로그를 Milestone 단위의 구조적 Trajectory로 분해해 긴 호라이즌에서도 맥락을 유지한다. 차이점: Milestone별 검증을 통해 실행의 진짜 진행 여부를 확인하고, 다중 소프트웨어 간의 크로스-피드백 루프에서의 오류 누적을 드러낸다. 지속적 맥락 유지, 픽셀-정밀 그라운딩, 다툼 없는 멀티툴 협업이 핵심 장애물이다.

Pipeline 구성: Recording → Parsing → Evaluation의 순으로 진행되며, 186개 태스크를 7개 애플리케이션에서 수행한다. 파서는 고프레임 레이트 화면 영상과 로우 레벨 I/O 로그를 매핑해 구조화된 Milestone Trajectory로 변환하고, MILestone QA를 통해 각 상태 전이를 검증한다. 실행 엔진은 Windows VM 기반으로, 저수준 마우스/키보드 이벤트만 사용하도록 제약해 재현성과 안정성을 보장한다. 실험 설정은 4× RTX 5090 하드웨어, OSWorld 계열 프롬프트를 사용하는 Claude Opus 4.6, Qwen3-VL-32B-T, UITars-1.5-7B, EvoCUA-32B, Gemini 3 Flash 등 5개 모델을 대상으로 온라인 실행으로 수행한다. 평가 지표는 Task/ Milestone 성공률, Milestone QA의 근거 및 Consistency Gap 등을 포함한다.

주요 벤치마크에서 SOTA 모델의 엔드투엔드 태스크 성공률은 36.0%에 불과하다. Milestone 수준의 성능은 일반적으로 태스크보다 높지만, 코어 미디어 편집(Effects, Visual Tuning, Audio 등)에서의 성공률은 낮다. Table 4의 실제 도구별 실행 정확도는 Keling, ComfyUI, JianYing 등의 도구에서 양호한 편이나 After Effects 등 프로페셔널 툴에서 급격히 하락한다. Milestone QA는 98.3%(GPT-5.4) 및 99%(Claude-4.6-Opus) 정도의 인간 합의율을 보이며 자동화 평가의 신뢰성을 입증한다.