MobileForge: 계층적 피드백 기반 정책 최적화로 모바일 GUI 에이전트를 무주석(Annotation-Free) 적응

앱 생태계가 방대하고 자주 변경되어 인간 라벨로 적응하기 어렵다. MobileForge는 사람 라벨 없이 대상 앱 상호작용으로부터 태스크와 계층적 피드백을 자동 생성해 에이전트를 효과적으로 적응시켜, 폐쇄 데이터 기반 GUI 모델과 근접한 성능을 보인다.

문제 출발점: 모바일 GUI 제어는 순차적 의사결정 문제로, 환경이 밀집된 스크린과 상호작용 히스토리를 제공하지만 환경 보상은 희박하다. 이때 단일 롤아웃을 독립 경험으로 처리하면 긴 궤적의 일부 성공 정보를 학습에 재사용하지 못하고 sparse reward로 인해 정책 개선이 느려진다.

해결 원리: MobileForge는 앱 탐색으로 얻은 실제 전이(transition) 증거를 바탕으로 실행 가능한 태스크 집합을 생성하고, 각 시도(rollout)에 대해 세 수준의 계층적 피드백(z, ℓ, h)을 만든다. 이 피드백은 (1) 태스크 단위 성공/실패 결정, (2) 단계별 합리성 태그와 근거 텍스트, (3) 실패 요약과 교정 힌트로 구성된다. 힌트는 이후 시도 프롬프트에 입력으로 포함되어 정책의 행동 선택을 조건화한다.

학습 신호 변환: HiFPO는 같은 태스크를 K번 시도해 힌트를 누적하고, 성공률 SR(x)=1인 태스크는 제거해 이미 마스터된 동작을 배제한다. 나머지 태스크에서 가장 '합리적' 비율 Q_k(=합리적 단계 수/총 단계 수)가 높은 시도를 선택해 단계 단위의 (s,a) 쌍을 구성한다. 단계별 학습은 그룹 상대 최적화(GRPO)를 사용하되, 각 그룹을 힌트로 조건화한 상태 tilde{s}로 정의해 '같은 교정 정보' 하에서 여러 후보 응답을 비교·정규화해 우수 행동을 강화한다.

결과적 변화: 이 접근은 long-horizon 문제를 단계 수준의 조밀한 신호로 변환하고, 힌트로 조건화된 그룹 비교를 통해 잘못된 전체 롤아웃을 그대로 강화하지 않으면서도 실패에서 유용한 부분 정보를 회수해 정책을 의미 있게 개선한다.

전체 파이프라인 개요: MobileForge는 MobileGym(탐색·커리큘럼·크리틱)과 HiFPO(다중 시도 롤아웃·필터링·GRPO)로 구성된다. 입력으로 대상 앱 집합과 초기 GUI 정책 π_θ가 주어지면, MobileGym이 전이 기록 𝒵를 수집하고 MobileGym-Curriculum이 이를 실행 가능한 태스크 𝒯로 변환한다. 이후 HiFPO가 각 태스크에 대해 K번 롤아웃을 실행해 계층적 피드백 ℱ_k=(z_k,{ℓ_k^{(t)}},h_k)를 얻는다.

핵심 메커니즘 — 피드백 생성과 활용: MobileGym-Critic는 각 완료된 롤아웃 로그를 시각화한 단계별 스냅샷과 VLM 기반 설명을 만들어, 최종 의사결정 모델이 z_k(성공/실패), 단계별 v_k^{(t)}(합리성), e_k^{(t)}(설명), h_k(교정 힌트)를 반환한다. 힌트는 다음 시도에서 태스크 지시어에 누적되어 프롬프트에 삽입된다. 이 입력은 단계별 상태 s^{(t)}=(x,I^{(t)},ℋ^{(t)},η)에서 η를 통해 전달된다.

데이터 필터링·선별: 각 태스크의 경험은 SR(x)=1인 경우 제거된다; SR(x)=0 또는 0<SR(x)<1인 태스크는 유지된다. 각 유지 태스크에 대해 Q_k(합리적 단계 비율)를 계산하고, 성공 시 가장 높은 Q_k를 보인 성공적 시도 또는 실패만 존재하면 Q_k 최댓값 시도를 선택한다. 선택된 시도에서 χ^{(t)}=𝟙[v^{(t)}=1]인 단계만 학습 집합 𝒟에 포함된다.

GRPO 기반 학습: 각 학습 샘플 d_j=(s_j,a_j^*)에서 s_j는 힌트 η_j를 포함한 상태로 프롬프트 tilde{s}j로 변환된다. 기존 정책에서 G개의 후보 응답을 샘플한 뒤 각 응답을 파싱해 행동 보상 R{j,g}을 계산한다. 보상은 행동 유형 일치 r^{type}와 인자 유사도 r^{arg}의 가중합으로 구성된다. 그룹 평균 μ_j과 표준편차 σ_j로 정규화해 A_{j,g}=(R_{j,g}-μ_j)/(σ_j+ε) 를 구하고, 클리핑된 중요도 비율과 KL 정규화를 포함한 GRPO 손실로 θ를 갱신한다.

주요 벤치마크 성과: AndroidWorld(116 tasks) 인-도메인에서 Qwen3-VL-8B가 MobileForge로 적응되어 Pass@3 67.2%에 도달해 GUI-Owl-1.5-8B(69.0%)에 근접했다. GUI-Owl-1.5-8B 기반의 ForgeOwl-8B는 AndroidWorld에서 Pass@3 77.6%를 기록했다(표 1).

도메인 외 전이: MobileWorld GUI-only(117 tasks)에서 ForgeOwl-8B는 success rate 41.0%를 달성해 공개 데이터 기반 에이전트 중 최고 성능을 보였다(표 2). ForgeQwen3-8B는 같은 적응 데이터로 10.3%를 기록했다.

절차적·학습적 검증: 힌트 제거 실험에서 corrective hints 포함 시 전체 성공률이 52.0%→77.0%로 +25.0pp 향상했고(Pass@3 49.0%→72.5%), 힌트-조건화 GRPO는 동일 데이터에서 SFT 대비 더 높은 성능을 보였다(예: 900-task에서 Pass@1 50.9% vs 힌트 SFT 47.4%).

효율성·학습 규모: MobileForge가 생성한 AndroidWorld-side 후보 태스크는 3,249개, 주 실험은 200/400/900 태스크 서브셋을 사용했다. 900-task 8B 학습은 NVIDIA 80GB GPU 8대에서 약 80시간 소요됐다.

아키텍처 구조: 시스템은 MobileGym(어플리케이션 탐색기, MobileGym-Curriculum, MobileGym-Critic)과 HiFPO(다중 시도 롤아웃, 태스크 필터링, 단계 선택, 힌트-조건화 GRPO)로 분리되어 구성된다. MobileGym-Critic는 VLM 기반 단계 설명과 최종 결정 모델을 결합해 ℱ_k를 생성한다.

수치화·보상 설계: 각 단계 응답에 대해 먼저 파싱 성공 여부를 확인한다(실패 응답은 보상 0). 파싱 성공 시 행동 유형 일치 여부 r^{type}=𝟙[α̂=α*]를 계산하고, 유형 일치 시 인자 유사도 S_{α*}(ψ̂,ψ*)∈[0,1]으로 r^{arg} 산출한다. 최종 보상 R_{j,g}=λ_{type}r^{type}+λ_{arg}r^{arg}이다. 그룹 평균 μ_j과 표준편차 σ_j로 정규화해 A_{j,g}=(R_{j,g}-μ_j)/(σ_j+ε) 를 얻고, 클립된 중요도 비율과 함께 GRPO 손실 ℒ_{HiFPO}로 파라미터를 갱신한다. 손실에는 KL(π_θ(·|s̃_j) || π_ref(·|s̃_j)) 정규화 항도 포함된다.

알고리즘 차별점: 기존 단계 수준 SFT나 단일 롤아웃 기반 RL과 달리 HiFPO는 (1) 다중 시도에서 힌트 누적을 통해 상태를 조건화하고, (2) 태스크별 SR 필터링으로 이미 마스터된 태스크를 제거해 오버리턴을 방지하며, (3) 실패에서 유용한 합리적 단계만 추출해 단계 단위로 GRPO 학습을 수행한다.

구현·학습 세부사항: 평가 실험은 Qwen3-VL-8B와 GUI-Owl-1.5-8B를 베이스로 하며, 생성된 AndroidWorld-side 후보 태스크 3,249개 중 200/400/900 개 서브셋으로 스케일 실험을 수행했다. 900-task 8B 실험은 8×80GB GPU에서 약 80시간이 소요됐다. MobileGym-Critic의 최종 결정 모델은 여러 대체(decision models)로 실험해 성능 영향을 측정했다.

적응 범위는 탐색한 앱 생태계에 의해 제한된다(논문에서 AndroidWorld 중심). 멀티앱 장기 워크플로우, 지속적 사용자 상태, 비표준 규칙·게임 등은 여전히 어려움으로 남는다. 자동 평가기(critic) 품질에 의존하므로 평가기 성능이 낮으면 학습 신호가 잡음화될 위험이 있다.