OmniGUI: Omni-modal 스마트폰 환경에서 GUI 에이전트 벤치마크

현행 GUI 벤치마크가 정적 스크린샷에 의존하는 반면, OmniGUI는 이미지/오디오/비디오를 매 단계 입력으로 제공한다. 이를 통해 시나리오별 시간적·음향적 맥락이 행동 결정에 미치는 영향을 정량적으로 평가할 수 있다.

이 논문은 GUI 에이전트의 평가를 위해 시각 입력뿐만 아니라 오디오 및 비디오를 매 단계의 관찰(St)로 제공하는 절차를 도입한다. 관찰 St는 It, Vt, At, Ht로 구성되며, 실행 가능한 액션 at을 예측하는 것이 목표다. 좌표 기반의 TAP/DES 등 13개의 원시 동작과 좌표를 포함하는 파라미터를 다룬다. Observation St = (It, Vt, At, Ht)에서 It는 현재 스크린의 정지 이미지, Vt는 시간적 비디오 클립, At는 동시 오디오, Ht는 과거 액션 히스토리이다. 좌표는 [0, 1000] 범위의 정규화 좌표를 사용한다. 액션 공간 A는 13가지 원시를 포함하며, NONE, TAP, DOUBLE_TAP, LONG_PRESS, SWIPE_UP/LEFT/RIGHT/DOWN, INPUT, BACK, HOME, TASK_COMPLETE, TASK_IMPOSSIBLE 등이 있다. 이 구조는 step-level로 인지-행동 연결의 정확도를 평가하도록 설계되었다. 연구는 AV-Critical의 비시각적 정보 의존도 증가에 따른 성능 저하를 실험적으로 확인하고, AV-Present에서의 영향은 작지 않음을 관찰한다.

1. Unified prompt 템플릿과 deterministic greedy decoding으로 실험을 수행한다. 2) St = (It, Vt, At, Ht)에서 It는 현재 스크린 이미지, Vt는 시간적 비디오, At는 동시 오디오, Ht는 과거 액션 히스토리이다. 3) Action Space는 13개의 원시와 좌표/텍스트 파라미터를 포함하며 좌표 범주는 [0, 1000]이다. 4) 데이터 수집은 709 에피소드, 2,579 스텝, 29개 앱으로, 이중언어 task_description이 제공된다. 5) TM/EM/SR/GP를 평가 지표로 사용하며, step-level teacher-forcing 프로토콜을 적용한다. 6) 프로토콜은 offline 벤치마크이며, 고정 데이터로 평가한다.

1. Gemini 3.0 Pro의 EM은 66.4%, SR은 33.1%이다. 2) Qwen3-Omni는 EM 33.4%, SR 5.2%로 오픈소스 모델 간 격차가 크게 나타난다. 3) AV-Critical에서 No AV 시 EM이 10.5포인트 감소하는 등 비시각 정보의 중요성을 확인한다. 4) Auditory Neglect 및 Spatial Grounding Failure 등 오류 패턴이 제시된다.

A-layer: 연구자용 기술 상세

• St = (It, Vt, At, Ht)로 정의되며 It는 현재 스크린 이미지, Vt는 시간적 비디오 클립, At는 환경 오디오, Ht는 과거 실행 이력이다. 좌표는 [0,1000]의 정규화된 공간을 사용한다. - Action Space는 13개의 원시(예: TAP, SWIPE_UP, INPUT, BACK, HOME, TASK_COMPLETE 등)와 좌표/텍스트 파라미터를 포함한다. - 프롬프트 템플릿은 시스템 프롬프트와 사용자 메시지 두 부분으로 구성되며, 출력은 단일 JSON 객체를 따른다. - 데이터 수집은 709 에피소드, 2,579 스텝, 29개 애플리케이션으로 구성되며, 이중언어(task_description)가 제공된다. - 실험에 사용된 모델로는 Gemini 3.0 Pro, Gemini 3.0 Flash, Gemini 2.5 Pro/Flash, Qwen3-Omni, MiniCPM-o, VITA-1.5, Baichuan-Omni-1.5 등 8개가 있다.