실제 모바일 환경을 위한 네이티브 멀티모달 GUI 에이전트 Xiaomi-GUI-0

기존 GUI 에이전트 연구는 주로 시뮬레이션과 오프라인 궤적에 의존하여 실제 앱 레이아웃과 비정상 상태 분포를 제대로 반영하지 못했다. 본 논문은 물리적 장치를 주 실행 환경으로 삼는 닫힌 루프 혼합 인프라를 통해 훈련·평가 분포를 실제 배포 환경에 가깝게 맞추었다. 이 접근은 권한 대화상자, 결제 인증 등 실제 환경에서 잦은 상태 변화를 다루는 에이전트의 실행 안정성과 복구 능력을 본질적으로 개선하는 방향으로 의미를 가진다.

기존 문제의 출발점은 시뮬레이터와 정형화된 벤치마크가 실제 모바일 앱에서 나타나는 상태 분포를 반영하지 못하는 데 있다. 앱 인터페이스는 레이아웃, 권한 대화상자, 결제 인증, 리스크 제어 등으로 인해 상태가 계속 재구성되며, 이러한 비정상 상태는 오프라인·시뮬레이션 데이터만으로는 충분히 학습되지 않는다. 결과적으로 시뮬레이터 성능이 실제 사용에서 그대로 재현되지 못하고 실행 안정성이 낮아진다. 이 논문은 이러한 분포 불일치를 근본적으로 줄이는 것을 출발점으로 삼았다. 이 논문의 해결 원리는 실행 환경을 물리적 장치 중심으로 재구성하고 실패 사례를 학습 데이터로 되돌리는 것이다. 구체적으로 데이터 수집과 평가를 실제 장치에서 수행하여 입력 상태 분포가 학습 분포와 일치하도록 만들고, 실패 궤적은 교정 행동과 복구 시연으로 재가공되어 학습에 다시 투입된다. 이렇게 하면 에이전트는 단순히 정상 경로를 반복하는 법만 배우는 것이 아니라 비정상 상태를 인식하고 복구하는 행동 패턴까지 학습하게 된다. 이 접근이 바꾸는 점은 학습된 정책의 '실행 안정성'이다. 동일한 정책이라도 시뮬레이터 기반으로 학습된 경우 비정상 상태에서 멈추거나 잘못된 입력을 반복하는 경향이 있지만, 실기기 중심으로 학습된 정책은 권한 팝업, 인증 플로우 등 현실적 장애물을 만나도 복구 행동을 실행할 확률이 높아진다. 논문에서 보고된 RealMobile 72.0%와 AndroidWorld 78.9% 성공률은 이러한 분포 정합과 오류 기반 학습이 실사용성으로 이어지는 사례로 해석된다.

전체 접근 방식은 실기기 주도 혼합 인프라, 다중 소스 데이터 구축, 진행형 학습 파이프라인의 세 축으로 구성된다. 인프라는 물리적 장치를 주 실행 환경으로 삼고 샌드박스는 보조적으로 사용하여 데이터 수집·학습·롤아웃·평가가 동일한 실행 분포에서 이루어지게 했다. 이러한 구성은 시스템 전반에서 상태 분포의 동질성을 확보하여 학습 단계와 배포 단계 간의 분포 간극을 줄이는 목적을 가진다. 핵심 메커니즘은 오류 기반 데이터 플라이휠과 3단계 학습 파이프라인이다. 오류 기반 플라이휠은 실패 궤적을 분석하여 교정 행동 로그, 반성적 자연어 설명, 복구 시연으로 변환하고 이를 재학습 데이터로 투입한다. 학습 파이프라인은 supervised fine-tuning으로 초기 행동 패턴을 학습시키고 step-level reinforcement learning으로 개별 조작 스텝의 보상을 최적화한 뒤 agentic reinforcement learning 단계에서 장기적 계획과 복구 전략을 통합하여 최종 정책을 완성한다. 학습 절차와 평가 과정은 실기기 닫힌 루프에서 연속적으로 이루어졌다. 데이터 수집은 실제 사용자 시나리오와 유사한 헤드 태스크 중심의 고빈도 데이터, 롱테일 의도 대응을 위한 고일반화 데이터, 반성과 메모리 능력 강화를 위한 별도 데이터로 분류되어 진행되었다. 모델 학습 중에는 동일한 물리적 장치군에서 수집된 데이터 분포를 유지하기 위해 롤아웃과 재수집이 반복적으로 실행되었다.

메인 벤치마크 결과로 Xiaomi-GUI-0은 내부 RealMobile 평가에서 72.0% 성공률을 기록했고 공개 벤치마크인 AndroidWorld에서는 78.9% 성공률을 보였다. 이 수치들은 실기기 닫힌 루프와 혼합 인프라가 실제 환경 조건을 반영할 때 성능이 안정적으로 확보될 수 있음을 시사한다. 논문은 또한 이러한 수치가 단순한 벤치마크 성과를 넘어 비정상 상태 인식과 복구 능력 향상으로 연결되었음을 보고했다. 추가적으로 실세계 작업에서의 실행 안정성과 비정상 상태 인식이 질적으로 향상되었다는 관찰이 있었다. 구체적 수치는 논문 본문에서 제공된 표를 참조해야 하나, 오류 기반 데이터 플라이휠이 실패 사례를 반복 학습으로 전환하면서 복구 성공률과 재시도 안정성이 높아진 점이 강조되었다. 평가 결과는 시뮬레이터·오프라인 궤적 중심의 기존 평가와 실기기 닫힌 루프 평가 사이에 있던 간극을 줄였다는 점에서 의미가 있다. 실제 운영에서 빈번한 비정상 상태가 모델 성능을 저해하는 문제를 줄여 배포 가능성을 높였다는 결론이 도출되었다.

전체 아키텍처는 물리적 장치 풀과 샌드박스 노드가 혼합된 분산 실행 환경으로 구성되어 있다. 물리적 장치가 주 실행 엔티티로 동작하며 샌드박스는 보조적 실험·데이터 생성·안전 시험을 수행한다. 이 배치는 데이터 수집에서 실행 분포의 우선순위를 물리적 장치에 부여하여 시뮬레이션과의 분포 차이를 최소화한다. 핵심 메커니즘인 error-driven data flywheel은 실패 궤적을 입력으로 받아 교정 행동 로그와 자연어 기반 반성 설명, 그리고 복구 시연을 생성하는 파이프라인을 포함한다. 구체적으로 실패 궤적에서 잘못된 행동 스텝을 식별한 뒤 올바른 행동 시퀀스와 복구 루틴을 매핑하여 학습용 레이블 쌍을 생성한다. 이로써 단순한 성공 로그 편중을 해소하고 실패 사례에서 유용한 학습 신호를 확보한다. 학습 알고리즘은 세 단계로 나뉘며 각 단계가 입력값과 산출물 수준에서 분명히 구분된다. 첫 단계인 supervised fine-tuning은 다중 소스의 행동-상태 데이터로 초기 정책을 얻는 과정으로, 상태-행동 쌍을 입력으로 받아 행동 출력을 지도학습으로 최적화한다. 두 번째 단계인 step-level RL은 개별 행동 스텝에 대한 보상 구조를 정의하여 정확한 조작을 강화하는 과정으로, 각 스텝의 상태와 행동을 입력으로 받아 보상 신호를 통해 정책 파라미터를 갱신한다. 세 번째 단계인 agentic RL은 장기적 목표와 복구 전략을 통합하여 연속적 의사결정을 학습하는 과정으로, 스텝 단위 보상과 에피소드 수준의 성공 신호를 함께 이용하여 정책의 계층적 행동을 정교화한다. Prior work 대비 차별점은 실행 분포 자체를 인프라 설계의 1차 목표로 삼았다는 점이다. 기존 연구는 주로 모델 구조나 학습 알고리즘에 집중했지만 본 연구는 데이터 수집·평가 인프라를 통해 분포 동형성을 확보하고 실패 사례를 자동으로 재가공하는 운영적 루프를 학습 파이프라인의 핵심으로 통합했다. 이 결합이 실사용 조건에서의 실행 안정성과 복구 능력을 향상시키는 핵심 기술적 차별점이다.