실제 모바일 환경을 위한 네이티브 멀티모달 GUI 에이전트 Xiaomi-GUI-0

기존 GUI 에이전트 연구는 주로 시뮬레이션과 오프라인 궤적에 의존하여 실제 앱 레이아웃과 비정상 상태 분포를 제대로 반영하지 못했다. 본 논문은 물리적 장치를 주 실행 환경으로 삼는 닫힌 루프 혼합 인프라를 통해 훈련·평가 분포를 실제 배포 환경에 가깝게 맞추었다. 이 접근은 권한 대화상자, 결제 인증 등 실제 환경에서 잦은 상태 변화를 다루는 에이전트의 실행 안정성과 복구 능력을 본질적으로 개선하는 방향으로 의미를 가진다.

왜 중요한가

핵심 기여

실기기 주도 혼합 인프라 설계

훈련·평가·데이터 수집의 주 실행 환경으로 물리적 장치를 두고 샌드박스는 보조로 활용하는 인프라를 구축했다. 이 구조는 시뮬레이터 기반 분포와 실제 운영 분포 간의 차이를 줄여 학습·평가의 환경 편향을 완화했다. 결과적으로 배포 시 발생하는 권한, 인증, 리스크 제어와 같은 비정상 상태에 대한 노출도가 높아져 모델의 실행 안정성이 개선되었다.

오류 기반 데이터 플라이휠과 다중 소스 데이터 구성

실제 실행 중에 발생한 실패 궤적을 교정 행동, 반성적 설명, 복구 시연으로 변환하여 재투입하는 error-driven data flywheel을 도입했다. 학습 데이터는 빈번한 헤드 태스크, 장기적 일반화를 위한 롱테일 의도 데이터, 반성 및 메모리 능력 향상을 위한 능력 강화 데이터로 구성되었다. 이러한 다층적 데이터 설계는 모델이 일반적인 성공 경로뿐 아니라 실패 복구 루틴까지 학습하도록 했다.

진행형 3단계 학습 파이프라인

모델 학습은 supervised fine-tuning으로 초기 정책을 형성한 뒤 step-level reinforcement learning으로 개별 행동의 보상을 최적화하고 마지막으로 agentic reinforcement learning으로 장기적 계획·회복 능력을 학습시키는 점진적 구성을 사용했다. 이 파이프라인은 지도 학습에서 RL로 넘어갈 때의 불안정성을 완화하고, 최종 에이전트가 연속적인 작업 흐름과 실패 복구를 처리하는 데 유리하게 작동했다. 각 단계는 동일한 실기기 주 실행 분포에서 수행되어 분포 불일치로 인한 성능 저하를 줄였다.

실기기 닫힌 루프에서의 평가 결과 및 실행 안정성 향상

제안한 Xiaomi-GUI-0은 내부 RealMobile 데이터셋에서 72.0% 성공률을 기록했고 AndroidWorld 벤치마크에서는 78.9% 성공률을 보였다. 이 평가 지표는 실기기 닫힌 루프와 혼합 인프라가 실제 환경 조건을 반영할 때 벤치마크 성능과 실사용성 사이의 간극을 줄였음을 시사한다. 또한 비정상 상태 인식과 실행 복구 사례에서 질적 향상이 관찰되어 실무적 신뢰성이 높아졌다.

핵심 아이디어 이해하기

기존 문제의 출발점은 시뮬레이터와 정형화된 벤치마크가 실제 모바일 앱에서 나타나는 상태 분포를 반영하지 못하는 데 있다. 앱 인터페이스는 레이아웃, 권한 대화상자, 결제 인증, 리스크 제어 등으로 인해 상태가 계속 재구성되며, 이러한 비정상 상태는 오프라인·시뮬레이션 데이터만으로는 충분히 학습되지 않는다. 결과적으로 시뮬레이터 성능이 실제 사용에서 그대로 재현되지 못하고 실행 안정성이 낮아진다. 이 논문은 이러한 분포 불일치를 근본적으로 줄이는 것을 출발점으로 삼았다. 이 논문의 해결 원리는 실행 환경을 물리적 장치 중심으로 재구성하고 실패 사례를 학습 데이터로 되돌리는 것이다. 구체적으로 데이터 수집과 평가를 실제 장치에서 수행하여 입력 상태 분포가 학습 분포와 일치하도록 만들고, 실패 궤적은 교정 행동과 복구 시연으로 재가공되어 학습에 다시 투입된다. 이렇게 하면 에이전트는 단순히 정상 경로를 반복하는 법만 배우는 것이 아니라 비정상 상태를 인식하고 복구하는 행동 패턴까지 학습하게 된다. 이 접근이 바꾸는 점은 학습된 정책의 '실행 안정성'이다. 동일한 정책이라도 시뮬레이터 기반으로 학습된 경우 비정상 상태에서 멈추거나 잘못된 입력을 반복하는 경향이 있지만, 실기기 중심으로 학습된 정책은 권한 팝업, 인증 플로우 등 현실적 장애물을 만나도 복구 행동을 실행할 확률이 높아진다. 논문에서 보고된 RealMobile 72.0%와 AndroidWorld 78.9% 성공률은 이러한 분포 정합과 오류 기반 학습이 실사용성으로 이어지는 사례로 해석된다.

방법론

전체 접근 방식은 실기기 주도 혼합 인프라, 다중 소스 데이터 구축, 진행형 학습 파이프라인의 세 축으로 구성된다. 인프라는 물리적 장치를 주 실행 환경으로 삼고 샌드박스는 보조적으로 사용하여 데이터 수집·학습·롤아웃·평가가 동일한 실행 분포에서 이루어지게 했다. 이러한 구성은 시스템 전반에서 상태 분포의 동질성을 확보하여 학습 단계와 배포 단계 간의 분포 간극을 줄이는 목적을 가진다. 핵심 메커니즘은 오류 기반 데이터 플라이휠과 3단계 학습 파이프라인이다. 오류 기반 플라이휠은 실패 궤적을 분석하여 교정 행동 로그, 반성적 자연어 설명, 복구 시연으로 변환하고 이를 재학습 데이터로 투입한다. 학습 파이프라인은 supervised fine-tuning으로 초기 행동 패턴을 학습시키고 step-level reinforcement learning으로 개별 조작 스텝의 보상을 최적화한 뒤 agentic reinforcement learning 단계에서 장기적 계획과 복구 전략을 통합하여 최종 정책을 완성한다. 학습 절차와 평가 과정은 실기기 닫힌 루프에서 연속적으로 이루어졌다. 데이터 수집은 실제 사용자 시나리오와 유사한 헤드 태스크 중심의 고빈도 데이터, 롱테일 의도 대응을 위한 고일반화 데이터, 반성과 메모리 능력 강화를 위한 별도 데이터로 분류되어 진행되었다. 모델 학습 중에는 동일한 물리적 장치군에서 수집된 데이터 분포를 유지하기 위해 롤아웃과 재수집이 반복적으로 실행되었다.

주요 결과

메인 벤치마크 결과로 Xiaomi-GUI-0은 내부 RealMobile 평가에서 72.0% 성공률을 기록했고 공개 벤치마크인 AndroidWorld에서는 78.9% 성공률을 보였다. 이 수치들은 실기기 닫힌 루프와 혼합 인프라가 실제 환경 조건을 반영할 때 성능이 안정적으로 확보될 수 있음을 시사한다. 논문은 또한 이러한 수치가 단순한 벤치마크 성과를 넘어 비정상 상태 인식과 복구 능력 향상으로 연결되었음을 보고했다. 추가적으로 실세계 작업에서의 실행 안정성과 비정상 상태 인식이 질적으로 향상되었다는 관찰이 있었다. 구체적 수치는 논문 본문에서 제공된 표를 참조해야 하나, 오류 기반 데이터 플라이휠이 실패 사례를 반복 학습으로 전환하면서 복구 성공률과 재시도 안정성이 높아진 점이 강조되었다. 평가 결과는 시뮬레이터·오프라인 궤적 중심의 기존 평가와 실기기 닫힌 루프 평가 사이에 있던 간극을 줄였다는 점에서 의미가 있다. 실제 운영에서 빈번한 비정상 상태가 모델 성능을 저해하는 문제를 줄여 배포 가능성을 높였다는 결론이 도출되었다.

기술 상세

전체 아키텍처는 물리적 장치 풀과 샌드박스 노드가 혼합된 분산 실행 환경으로 구성되어 있다. 물리적 장치가 주 실행 엔티티로 동작하며 샌드박스는 보조적 실험·데이터 생성·안전 시험을 수행한다. 이 배치는 데이터 수집에서 실행 분포의 우선순위를 물리적 장치에 부여하여 시뮬레이션과의 분포 차이를 최소화한다. 핵심 메커니즘인 error-driven data flywheel은 실패 궤적을 입력으로 받아 교정 행동 로그와 자연어 기반 반성 설명, 그리고 복구 시연을 생성하는 파이프라인을 포함한다. 구체적으로 실패 궤적에서 잘못된 행동 스텝을 식별한 뒤 올바른 행동 시퀀스와 복구 루틴을 매핑하여 학습용 레이블 쌍을 생성한다. 이로써 단순한 성공 로그 편중을 해소하고 실패 사례에서 유용한 학습 신호를 확보한다. 학습 알고리즘은 세 단계로 나뉘며 각 단계가 입력값과 산출물 수준에서 분명히 구분된다. 첫 단계인 supervised fine-tuning은 다중 소스의 행동-상태 데이터로 초기 정책을 얻는 과정으로, 상태-행동 쌍을 입력으로 받아 행동 출력을 지도학습으로 최적화한다. 두 번째 단계인 step-level RL은 개별 행동 스텝에 대한 보상 구조를 정의하여 정확한 조작을 강화하는 과정으로, 각 스텝의 상태와 행동을 입력으로 받아 보상 신호를 통해 정책 파라미터를 갱신한다. 세 번째 단계인 agentic RL은 장기적 목표와 복구 전략을 통합하여 연속적 의사결정을 학습하는 과정으로, 스텝 단위 보상과 에피소드 수준의 성공 신호를 함께 이용하여 정책의 계층적 행동을 정교화한다. Prior work 대비 차별점은 실행 분포 자체를 인프라 설계의 1차 목표로 삼았다는 점이다. 기존 연구는 주로 모델 구조나 학습 알고리즘에 집중했지만 본 연구는 데이터 수집·평가 인프라를 통해 분포 동형성을 확보하고 실패 사례를 자동으로 재가공하는 운영적 루프를 학습 파이프라인의 핵심으로 통합했다. 이 결합이 실사용 조건에서의 실행 안정성과 복구 능력을 향상시키는 핵심 기술적 차별점이다.

실무 활용

제안한 접근은 실제 모바일 앱 환경에서 에이전트를 배포하려는 실무에 직접 적용 가능하다. 실기기 기반 닫힌 루프 인프라는 운영 환경의 상태 분포를 학습 데이터에 반영하므로 배포 후 발생하는 예외 처리 비용을 줄일 수 있다. 오류 기반 데이터 플라이휠은 현장 실패를 빠르게 재투입하여 모델의 회복 능력을 지속적으로 개선하는 운영 체계와 결합될 때 실무적 효용이 크다.

모바일 앱의 자동화된 UI 작업(계정 생성, 결제 흐름, 권한 설정 등)을 안정적으로 수행해야 하는 자동화 테스트 및 RPA 시나리오
실제 사용자 환경에서 발생하는 인증·권한 팝업을 인식하고 복구해야 하는 고객지원 자동화 에이전트
앱 릴리스 후 실제 필드에서 발생하는 실패 데이터를 자동으로 수집하고 재학습 파이프라인에 통합하는 지속적 학습 운영

코드 공개 여부: 미확인

키워드

vision-language models(vision-language models)real-device closed loop(실기기 닫힌 루프)data flywheel(데이터 플라이휠)supervised fine-tuning(지도학습 파인튜닝)agentic reinforcement learning(에이전틱 강화학습)

용어 해설

실기기 닫힌 루프(Real-device Closed Loop): — 실제 물리적 장치를 주 실행 환경으로 삼아 데이터 수집·학습·평가를 동일한 실행 분포에서 반복하는 방식으로, 시뮬레이터 편향을 줄이고 실제 배포 환경에서의 상태 분포(권한 대화상자, 결제 인증 등)를 반영하여 에이전트의 수행 안정성을 높이는 데 중요하다.
데이터 플라이휠(Data Flywheel): — 실행 실패 궤적을 교정 행동, 반성적 설명, 복구 시연 등으로 자동 변환하여 재학습에 투입함으로써 실패로부터 점진적으로 능력을 개선시키는 반복적 데이터 증식·갱신 메커니즘이다.
에이전틱 강화학습(Agentic Reinforcement Learning): — 단계별 행동 선택과 고차원적 계획·회복 능력을 포함하여 에이전트 수준의 연속적 의사결정을 학습시키는 강화학습 방식으로, 단일 행동의 보상뿐 아니라 장기 목표 달성과 실패 복구를 고려하도록 정책을 갱신한다.
스텝 레벨 강화학습(Step-level Reinforcement Learning): — 각 인터페이스 조작 스텝(탭, 스와이프, 텍스트 입력 등)을 별도의 행동 단위로 정의하고 그 보상 신호로 정책을 학습시켜 장기적 작업 성공률을 높이는 세부 행동 중심의 RL 접근법이다.
지도학습 파인튜닝(Supervised Fine-tuning): — 사전수집된 다중 출처 행동-상태 데이터로 모델의 행동 출력을 지도학습 방식으로 미세조정하여 초기 정책을 형성하고 이후 강화학습 단계의 안정적 수렴을 돕는 방법이다.

실제 모바일 환경을 위한 네이티브 멀티모달 GUI 에이전트 Xiaomi-GUI-0

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드