MemGUI-Agent: 능동적 컨텍스트 관리를 갖춘 종단간 장기 모바일 GUI 에이전트

모바일 GUI 자동화에서는 화면 전환과 다단계 상호작용 속에서 가격, 전화번호 같은 중간 사실을 정확히 유지하는 것이 핵심이다. 기존 ReAct식 누적 로그는 프롬프트가 길어지고 중요한 정보가 희석되어 장기 과제 성능이 급락한다.

장기 모바일 GUI 자동화에서는 사용자가 화면에서 확인한 구체적 사실(가격, 전화번호, 복사 텍스트 등)이 앱 전환이나 지연에도 정확히 유지되어야 한다. ReAct식 누적 로그는 각 단계의 기록을 덧붙이며 컨텍스트 길이가 선형으로 증가해 토큰 비용과 정보 희석을 초래한다. 결과적으로 긴 과제(horizon)가 되면 모델 추론시 고려 가능한 핵심 정보가 사라지거나 잘려 나간다.

ConAct의 핵심 원리는 '컨텍스트 관리도 행동(action)으로 출력'하는 것이다. 모델 입력으로 현재 스크린샷 It와 구조화된 상태 St=(G,Ht,Mt,Lt)를 받아 다음을 한 번에 예측한다: τt(사고), ϕt(접기 지시), at(UI/메모리 행동), ot(도구 결과로부터 얻은 UI 관찰), ιt(행동 의도). 이 출력들로 Ht+1 = Fold(Ht,ϕt), Mt+1 = MemoryOp(Mt,at), Lt+1 = (ot,ιt,at,rt)가 결정되어 상태 전이가 정책 내부에서 수행된다. 즉, 어떤 정보를 언제 압축하고 무엇을 영구 저장할지 정책이 직접 선택한다.

구체적 이득은 두 가지다. 첫째, Folded Action History의 span-level abstraction은 관련 하위 작업을 하나의 요약으로 병합해 프롬프트 성장을 아예 줄인다(논문 실험에서 step 150 기준 약 1.5k 토큰 절감 보고). 둘째, Folded UI State의 명시적 메모리 항목(id, description, content)은 '완전한 content'를 보존해 앱 전환 뒤에도 정확한 값을 회복하도록 한다. 이 때문에 ConAct는 단순 포맷 변경이 아닌, 장기 과제에서의 정책적 결정을 학습해야 하는 문제로 귀결된다. 따라서 대규모 교사만으로는 부족해 MemGUI-3K 같은 감독 데이터가 필요하다.

전체 접근 방식: 에이전트를 하나의 MLLM πθ로 두고, 입력으로 현재 스크린샷 It와 구조화된 상태 St=(G,Ht,Mt,Lt)를 제공한다. 모델은 한 스텝에서 5파트(τt,ϕt,at,ot,ιt)를 출력하고, 출력에 따라 세 필드 H,M,L을 병렬로 갱신한다. 이로써 컨텍스트 축소(folding)와 메모리 쓰기(write)는 환경과 별개의 도구 호출(tool_call)로 구현되며, 메모리 연산은 환경 상태를 변경하지 않고 구조화된 Mt만 갱신한다.

핵심 메커니즘 상세: folding 지시 ϕt는 {

메인 벤치마크: MemGUI-Agent-235B(제로샷, Qwen3-VL-235B-Thinking + ConAct) 성능은 MemGUI-Bench에서 Pass@1 37.5% 및 Pass@3 62.5%를 기록했다(Table 2). 같은 백본에 ReAct 기반을 적용한 비교에서 ConAct 제로샷은 Pass@1 기준 최대 +13.3~+22.9% 포인트의 개선을 보였다. MobileWorld(GUI-Only)에서는 MemGUI-Agent-235B가 29.1% SR을 달성해 Qwen3-VL-235B-Thinking(14.5%) 대비 +14.6%p 향상했다(Table 3).

SFT 학습 영향: MemGUI-8B-SFT(LoRA SFT, Qwen3-VL-8B-Instruct 초기화)는 MemGUI-Bench에서 Pass@1 23.4%를 기록해 Qwen3-VL-8B-Instruct 기준 9.4% 대비 +14.0%p 개선을 확인했다. 개선은 난이도 높은 중·장기 과제에서 두드러져(Medium +19.0, Hard +18.5 vs Easy +6.2) 장기 컨텍스트 관리 능력 향상에 기인한다.

구성 요소 기여(ablations): ConAct 구성요소별 단독 추가 실험에서 UI memory actions만으로 Pass@1이 5.0→17.5%로 상승했고, history folding만으로 22.5%에 도달했다. 세 구성요소(folding, memory, self-describing step)를 모두 활성화한 Full ConAct은 40.0% Pass@1 / 62.5% Pass@3를 달성해 각 요소가 상호보완적임을 확인했다(Table 5).

오프라인 스킬 분석: MemGUI-3K 테스트에서 MemGUI-8B-SFT는 메모리 트리거 F1을 19.9%→48.0%로 끌어올렸고(format compliance 99.9%), deep-fold 비율도 증가해 모델이 언제 span-level abstraction을 사용할지 학습했음이 확인됐다(Table 4, Table 12).

전체 아키텍처: 에이전트는 MLLM πθ로 구현되며 입력은 현재 스크린샷 It와 구조화된 상태 St=(G,Ht,Mt,Lt)이다. 한 스텝 예측 yt=(τt,ϕt,at,ot,ιt)를 수행하면 세 병렬 업데이트가 발생한다: (A) Fold(Ht,ϕt)→Ht+1, (B) MemoryOp(Mt,at)→Mt+1(메모리 연산일 때), (C) Lt+1=(ot,ιt,at,rt). 실행 루프는 St+1=T(St,yt,rt)로 정의되며 이 모든 출력은 동일한 정책 네트워크의 단일 순전파로 생성된다.

실험은 Android 스타일 모바일 GUI 환경에 국한되어 있다. iOS, 데스크톱, 웹 인터페이스로의 확장 가능성은 본문에서 향후 연구 과제로 명시되어 있다.