왜 중요한가
GUI 에이전트는 기존 API가 없는 애플리케이션들을 대신 조작해 사용자의 디지털 작업을 자동화할 수 있으나 시뮬레이터 중심 개발은 실사용 환경의 불안정성, 팝업·권한·네트워크 중단 등 현실적 문제를 반영하지 못합니다. Qwen-UI-Agent는 100개 이상의 물리 기기와 150개 앱을 포함한 실기기 런타임, GUI+CLI 통합 액션, 그리고 에이전트 주도 데이터 플라이휠과 온라인 RL을 결합해 시뮬레이터에서의 성공을 실기기 성능으로 전이시키는 것을 목표로 삼습니다. 이 구성이 실세계 모바일 작업에서 92.2% (MobileWorld-Real)와 97.5% (AndroidDaily) 같은 높은 성공률로 이어져, GUI 기반 자동화의 실용성과 확장성을 동시에 높이는 길을 제시합니다.
핵심 기여
실기기 중심 모바일 런타임과 AutoJudge
실제 폰 100대 이상과 150개 이상의 앱을 운영하는 실기기 모바일 런타임을 구축해 시뮬레이터와 현실 간 격차를 줄였습니다. 런타임은 health-aware scheduler와 가상 디스플레이를 통해 장비·계정·디스플레이를 동적 할당하고 환경 오류를 분리해 관리합니다. 평가를 위해 VLM 기반 AutoJudge를 도입해 pass/failed/env_error를 다수결로 판정하며, 666개 궤적 비교에서 92.8%의 일치도를 보고했습니다.
하이브리드 GUI+CLI 액션 공간과 배치 액션
클릭·드래그·type 같은 GUI 액션을 유지하면서 bash 명령(cli_command)과 api_call을 같은 액션 공간에 포함시켰습니다. 하나의 모델 결정(step)에서 다수의 하위 액션을 순서대로 생성하는 batched actions를 도입해 불필요한 추론·관찰 사이클을 줄였습니다. 데스크톱 작업에서는 CLI와 GUI가 주된 액션이며 40% 이상이 배치로 출력되어 실행 궤적을 크게 단축했습니다.
에이전트 주도 데이터 플라이휠과 검증기 합성
강한 기초 모델을 활용해 도메인 지식 트리와 능력 프로필을 자동 합성하고, 에이전트가 과제·환경·검증기를 생성·검증해 SFT·RL용 데이터를 순환적으로 축적합니다. 실패 원인을 자동 분석해 타깃화된 과제 집합을 생성하고, 검증 가능한 task–verifier 쌍 약 10,000개를 자동 합성해 Online RL에 공급했습니다. 이 루프는 인간의 반복적 수작업을 감독과 수정 수준으로 축소합니다.
장기 궤적을 위한 액션-RL과 온라인 RL
자주 발생하는 액션 오류 패턴을 수집해 Action RL로 지역적 행동 신뢰도를 향상시키고, 반복적·혼동·수량 누락 등의 패턴을 보정했습니다. 이후 GRPO 변형을 적용한 Online RL로 전체 궤적 성공률을 최적화하며, 검증기 결과를 그룹 상대 이점으로 정규화해 커리큘럼을 동적으로 관리합니다. 이 과정에서 10,000 concurrent 환경까지 확장된 롤아웃으로 장기 의사결정 능력을 강화했습니다.
핵심 아이디어 이해하기
현실의 GUI 작업은 시뮬레이터보다 더 많은 예외·팝업·권한·계정 상태 변화를 포함해 시뮬레이션에서 학습한 정책이 현장에 곧바로 적용되기 어렵습니다. 이 문제를 해결하려면 관찰(스크린샷·CLI 출력·API 응답)을 통합해 시각적·구조적 정보를 동시에 추론하고, GUI 조작과 프로그램적 명령을 동일 궤적에서 섞어 쓸 수 있어야 합니다. Qwen-UI-Agent는 실기기 런타임, 하이브리드 액션 공간, 에이전트 주도 데이터 생성과 검증, 그리고 액션 레벨·궤적 레벨의 RL을 결합해 시뮬레이터 성능을 실세계 성공률로 전이시키는 것을 핵심 직관으로 삼습니다.
방법론
시스템은 네 구성 요소로 이루어집니다: 샌드박스와 실기기를 포함한 환경 인프라, 에이전트 주도 데이터 플라이휠, SFT와 RL을 결합한 통합 학습 프레임워크, 그리고 알림 기반의 하니스 계층입니다. 관찰은 스크린샷, CLI 출력, API 응답의 멀티채널로 주어지며 출력은 중간 추론(r_t)과 실행 액션(a_t)을 함께 생성합니다. 액션 공간은 GUI 액션, cli_command, api_call, ask_user, terminate를 포함하고 한 스텝에서 복수 하위 액션을 배치 실행할 수 있도록 설계되었습니다. 학습 파이프라인은 도메인 전문가별 SFT, sliding-window SFT (윈도우 n=5, 오버랩 4), Action RL로 지역 오류 보정, 그리고 검증기 기반 GRPO 계열의 Online RL로 장기 성공을 최적화하는 단계로 구성됩니다.
관련 Figure
데모는 알림 수신에서 시작해 플래너가 이벤트를 인식하고 대체 항공편을 검색·검토한 뒤 모바일 GUI에서 재예약을 요청하고 데스크톱에서 일정을 업데이트하는 일련의 과정을 단계별로 연결합니다. 이 다이어그램은 하니스가 사건(event), affair, task의 상태를 유지하고 GUI·API·CLI를 혼합 실행하는 전체 메커니즘을 시각적으로 전달합니다.
여행 복구 시나리오 데모 흐름을 통해 하니스·플래너·크로스플랫폼 실행 과정을 보여주는 다이어그램입니다.
원형 도식은 초기 도메인 능력 부트스트랩에서 출발해 평가·실패 진단·궤적 수집·약점 기반 합성 등으로 이어지는 반복 고리를 보여줍니다. 각 단계가 자동화되어 에이전트가 과제·검증기·환경을 생성하고 반복 학습 데이터를 보강하는 과정을 시각적으로 연결합니다. 이 그림은 수작업 의존도를 줄이는 설계 철학을 강조합니다.
도메인 부트스트래핑과 반복적 정제 루프(Agent-driven data flywheel)를 원형으로 나타낸 다이어그램입니다.
주요 결과
핵심 실험에서 Qwen-UI-Agent는 실기기 모바일 벤치마크 MobileWorld-Real에서 92.2%의 성공률을 기록했고 AndroidDaily에서 97.5%를 얻었습니다. 시뮬레이터 기반 MobileWorld에서는 82.1%를 달성했고 데스크톱 평가 OSWorld-Verified에서는 79.5%를 기록해 상위권 성능을 보였습니다. 브라우저와 GUI 그라운딩에서도 WebArena 73.6%, ScreenSpot-Pro 81.5% 등을 기록했으며, MobileWorld-Real에서 Gemini 3.1 Pro 대비 +6.0pp, Claude Opus 4.8 대비 +7.5pp 등으로 주요 폐쇄형 모델들을 앞서는 수치를 보고했습니다.
관련 Figure
차트는 MobileWorld, MobileWorld-Real, AndroidDaily 등 모바일 중심 벤치마크에서 Qwen-UI-Agent가 상위권 또는 선두 성능을 보였음을 시각적으로 요약합니다. 각 막대에 정확한 성공률 수치(예: MobileWorld-Real 92.2%, AndroidDaily 97.5%, MobileWorld 82.1%)가 표시되어 있어 모델 간 정량 비교가 직접적으로 가능합니다. 이 그림은 실기기 중심 평가에서의 우위를 한눈에 확인할 근거로 사용됩니다.
여러 벤치마크에서 Qwen-UI-Agent의 성공률을 막대그래프로 비교한 결과를 제시한 차트입니다.
각 스텝의 스크린샷 아래에 모델이 수행한 액션이 적혀 있어 입력·클릭·드래그 같은 구체적 조작 흐름을 재현합니다. 이 시퀀스는 실기기에서 발생하는 팝업·권한·로그인 이슈 없이도 실제 앱을 탐색해 목적을 달성하는 과정을 추적 가능한 증거와 함께 보여줍니다. 평가자가 궤적을 감사할 때 유용한 실행 로그 형태로 제공됩니다.
실기기에서의 단계별 태스크 실행 예시로, Amap·Dianping·RedNote 등의 앱을 이동하며 작업을 완료하는 스크린샷 시퀀스입니다.
기술 상세
학습은 도메인별 전문가 SFT를 먼저 수행한 뒤 병합한 모델을 중심으로 진행되며, 긴 궤적 SFT를 위해 n=5 슬라이딩 윈도우(오버랩 4)를 사용해 시각 입력 중복 처리를 줄였습니다. Action RL은 오류 패턴별로 가중치를 둔 액션 보상 함수(r_t = F_t(w_type C_t + w_arg C_t Q_t - λ_sens S_t - λ_rep L_t))를 적용해 지역적 행동 신뢰도를 향상시켰고 Online RL은 검증기 기준의 GRPO 변형을 사용해 그룹 상대 이점을 계산해 정책을 갱신합니다. 환경 측면에서 최대 10,000개의 동시 샌드박스 롤아웃을 지원하고 실기기 클러스터는 100개 이상의 물리 기기와 150개 앱을 운영하며 가상 디스플레이로 처리량을 약 20× 증가시켰다고 보고했습니다. 또한 자동 합성·검증 파이프라인으로 약 10,000개의 검증된 task–verifier 쌍을 생성해 Online RL에 활용했습니다.
관련 Figure
그림은 health-aware scheduler가 기기·앱·계정 상태를 추적하고 비정상 기기는 블랙리스트로 격리하는 운영 흐름을 나타냅니다. 또한 한 물리 폰에서 여러 가상 디스플레이를 할당해 병렬 실행을 지원하고, 환경 오류는 증거 기반 리뷰를 통해 모델 실패와 분리되어 유지보수 큐로 들어갑니다. 이 구성은 실기기에서의 확장성과 신뢰성 확보 방법을 구체적으로 제시합니다.
실기기 런타임 설계와 환경 복구 루프, 헬스 기반 스케줄러 및 병렬 가상 디스플레이 개념을 보여주는 시스템 다이어그램입니다.
한계점
논문 자체도 지적하듯 실기기 기반 평가는 환경 오류(권한·CAPTCHA·만료된 로그인 등)와 모델 실패를 분리하는 추가 절차를 필요로 하며 이 때문에 AutoJudge와 수동 재검증 절차가 병행됩니다. 실기기 런타임 운영에는 블랙리스트·수리·재검증 같은 유지보수 비용이 뒤따르며, 가상 디스플레이와 대규모 장비 관리는 인프라 부담을 증가시킵니다. 연구는 중국 모바일 생태계(앱·팝업 밀도)에 초점을 맞추고 있어 다른 지역·생태계로의 직접적 일반화 가능성은 자료에서 명시적으로 보장되지 않습니다.
실무 활용
실제 사용자는 알림·앱 상태·파일 등을 바탕으로 에이전트가 대신 작업을 준비하거나 실행하도록 허용할 수 있으며, Qwen-UI-Agent는 실기기 환경에서 장기·교차 플랫폼 워크플로를 수행하며 사용자 승인 단계도 지원합니다. 알림 기반 하니스는 항공편 취소 같은 이벤트를 감지해 대체 옵션을 수집·비교해 의사결정 카드 형태로 제시하고, 사용자가 승인하면 모바일·데스크톱을 넘나드는 실행을 진행합니다. 민감한 외부 영향(결제·로그인·CAPTCHA)은 ask_user 또는 사용자 인계로 제어됩니다.
- 항공편 취소 알림을 받아 대체 항공·철도 옵션을 검색하고 일정 충돌을 확인한 뒤 사용자가 승인하면 예약을 변경하는 여행 복구 워크플로
- 모바일에서 영수증 사진을 선별해 데스크톱으로 전송하고 쉘 명령으로 파일명을 일괄 변환한 뒤 스프레드시트로 정리하는 교차 장치 비용 정산 처리
- 앱 설정·권한·네트워크 팝업 등 실기기 문제를 감지해 건강한 기기로 재라우팅하고 환경 오류를 검증해 유지보수 대기열에 등록하는 대규모 실기기 운영
코드 공개 여부: 미확인
관련 Figure
왼쪽은 알림을 통한 proactive flow를, 중앙은 하니스 레이어와 계획 요약의 상태 흐름을, 하단은 모바일→데스크톱→모바일로 이어지는 실제 교차 장치 실행 예시를 연속 스크린샷으로 제시합니다. 이 콜라주는 알림을 사건으로 파싱해 affairs로 연결하고, 준비작업을 선행한 뒤 사용자 승인을 통해 실행까지 이르는 전체 흐름을 구체적 UI 예시로 보여줍니다.
프로액티브 서비스와 크로스 플랫폼 실행을 설명하는 다중 화면 데모와 스텝 플로우를 포함한 스크린샷 콜라주입니다.
키워드
추가 이미지 분석
중앙의 도넛 차트는 409개 태스크와 104개 앱이 7개 도메인에 걸쳐 분포함을 보여주며, 각 도메인별 대표 과제와 난이도 특성(예: 순위·장기 과제 등)을 예시로 제시합니다. 하단에는 벤치마크 통계와 성공률·평균 단계 수 같은 비교 지표가 포함되어 있어 데이터셋 설계 의도와 실기기 평가의 난도를 동시에 파악할 수 있습니다.
MobileWorld-Real 벤치마크의 도메인 분포와 예시, 벤치마크 통계(태스크 수·앱 수 등)를 한 화면에 정리한 인포그래픽입니다.
용어 해설
- 실물 모바일 런타임(Real-device mobile runtime)
- — 실제 물리 기기와 다수의 가상 디스플레이, 앱 계정 상태, 네트워크 조건을 포함하는 실행 환경으로서 100개 이상의 물리 기기와 150개 이상의 앱을 운영해 실기기에서의 실행·수집·평가를 지원합니다.
- GUI+CLI 하이브리드 액션 공간(Hybrid GUI+CLI action space)
- — 클릭·드래그·입력 같은 GUI 조작과 bash 기반 cli_command 및 외부 api_call을 하나의 통합 인터페이스로 제공하여 시각적 조작과 프로그램적 조작을 같은 궤적에서 혼합·배치 실행할 수 있게 하는 실행 표현입니다.
- 에이전트 주도 데이터 플라이휠(Agent-driven data flywheel)
- — 강화된 모델이 과제·환경·검증기·궤적을 생성하고 실패를 진단해 다음 반복의 학습 데이터를 자동으로 합성·검증·통합하는 순환 프로세스로, 인간의 세부 개입을 감독 수준으로 줄입니다.
- AutoJudge
- — 실기기 실행 궤적을 입력받아 성공(pass)·실패(failed)·환경에러(env_error)로 분류하는 VLM 기반 궤적 레벨 평가기이며, 다수의 VLM 판정을 다수결로 합산해 92.8%의 정확도를 보고했습니다.
- GRPO 기반 온라인 RL(GRPO (group-relative policy optimization))
- — 검증기 기반 Online RL에서 같은 과제에 대해 K개 롤아웃을 샘플링하고 그룹 상대 이점(분산 정규화된 리턴)을 계산해 정책을 갱신하는 방식으로 장기 궤적 성공률을 최적화합니다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.