언제 멈추고, 회복하고, 검색할지 알기: GUI 자동화를 위한 모듈형 프레임워크

자율형 GUI 에이전트가 겪는 조기 종료와 무한 루프 문제를 해결하기 위해 세 가지 모듈형 도구를 도입했습니다. 이 프레임워크를 통해 에이전트는 작업 완료 여부를 시각적으로 검증하고, 반복되는 실패에서 스스로 벗어나며, 모르는 기능은 온라인 검색으로 학습하여 인간 이상의 성능을 달성했습니다.

기존 GUI 에이전트는 Transformer 기반의 Next-Action Prediction에 의존하지만, 자신이 수행한 행동이 실제로 UI 상태를 의도대로 바꿨는지 확인하는 피드백 루프가 부족하다. 이로 인해 '저장' 버튼만 누르고 파일 생성을 확인하지 않은 채 종료하거나, 버튼이 눌리지 않는데도 계속 클릭만 반복하는 현상이 발생한다.

VLAA-GUI는 이를 해결하기 위해 에이전트의 행동 직후에 '검증(Stop)'과 '복구(Recover)' 단계를 강제하는 가드레일을 설치한다. 이는 딥러닝의 Self-Correction 개념을 GUI 환경에 맞게 구조화한 것으로, 에이전트가 생성한 행동(Action)을 환경(Environment)에 적용하기 전후로 시각적 임베딩 변화를 분석하여 논리적 일관성을 체크한다.

특히 루프 방지는 단순히 이전 행동을 기억하는 수준을 넘어, 화면 픽셀의 유사도 변화가 정체될 경우 상호작용 모달리티(단축키에서 메뉴 클릭으로 전환 등)를 강제로 변경하도록 설계되어 에이전트의 탐색 공간을 동적으로 확장한다.

전체 시스템은 Manager Agent를 중심으로 2개의 필수 도구(Completeness Verifier, Loop Breaker)와 3개의 선택적 도구(Searcher, Coder, Grounder)가 결합된 구조이다. Manager는 매 단계 스크린샷과 궤적을 입력받아 행동을 결정하며, 행동 직후 필수 도구들이 상태 변화를 감시한다.

Completeness Verifier는 작업 시작 시 K개의 UI 관찰 가능 기준 C = {c₁, ..., cₖ}를 도출한다. [사용자 지시문 → LLM 추론 → 텍스트 형태의 체크리스트] 순으로 변환된 기준은 매 단계 스크린샷과 대조된다. 모든 기준이 충족되어 에이전트가 DONE을 호출하면, 독립적인 MLLM 판사가 최종 스크린샷을 교차 검증하여 이진(Accept/Reject) 결정을 내린다.

Loop Breaker는 행동 반복 횟수 n_t^a와 화면 상태 반복 횟수 n_t^o를 계산한다. [현재 행동과 이전 행동 비교 ∧ 다음 화면 상태의 유사도 측정 → 정수 카운트 → 임계값 초과 여부 판단] 과정을 거친다. n_t^a가 임계값을 넘으면 입력 모달리티를 강제 전환하고, n_t^o가 넘으면 전체 전략을 수정하도록 Manager에게 하드 디렉티브(Hard Directive)를 주입한다.

Search Agent는 Manager가 불확실성을 감지할 때 호출된다. [모호한 워크플로우 질문 → 검색 가능 LLM 질의 → 요약된 텍스트 가이드 생성 → Manager의 Belief State에 주입] 순으로 동작하여, 에이전트가 추가적인 GUI 조작 없이도 외부 지식을 활용할 수 있게 한다.

OSWorld-Verified 벤치마크에서 VLAA-GUI(Opus 4.6 백본)는 77.5%의 성공률을 기록하여 인간 성능(72.4%)을 초월했다. 특히 Sonnet 4.6을 사용한 경우 단 15단계의 행동 예산만으로도 기존 50단계 시스템의 성능을 앞지르는 높은 효율성을 보였다.

Ablation Study 결과, Completeness Verifier는 가짜 성공(False Completion) 비율을 최대 3.9% 감소시켰으며, Loop Breaker는 루프 발생 시 낭비되는 단계(Wasted Steps)를 4.9%에서 2.8%로 거의 절반 수준으로 줄였다. WindowsAgentArena에서도 61.0%의 성공률을 기록하며 윈도우 환경에서도 강력한 일반화 성능을 입증했다.

모델 백본별 분석에서는 Opus 4.6과 같은 강력한 모델일수록 도구 활용 효율이 높았으며, Gemini 3 Flash와 같은 경량 모델은 행동 예산이 충분할 때 루프 복구 도구의 혜택을 더 크게 받는 것으로 나타났다.

VLAA-GUI는 명시적인 계획(Planning)이나 메모리 모듈 대신, 도구 중심의 사후 검증 메커니즘에 집중한다. 이는 복잡한 계획 단계가 오히려 오류를 전파할 수 있다는 관찰에 기반한다. 모든 도구는 Manager와 동일한 액션 공간 내에서 호출 가능한 일급 객체(First-class objects)로 취급된다.

Completeness Verifier의 핵심은 '보수적 검증' 원칙이다. 시각적 증거가 모호할 경우 무조건 Reject를 반환하도록 프롬프트를 설계하여 False Positive를 억제한다. 이는 에이전트가 작업을 완수하지 못했음에도 성공했다고 믿는 Agreement Bias를 효과적으로 상쇄한다.

Loop Breaker의 3단계 에스컬레이션은 로컬 행동 실패(Tier 1), 내비게이션 막힘(Tier 2), 그리고 패턴 인식 실패(Tier 3)를 계층적으로 처리한다. 특히 Tier 3의 Reflection-Driven Judge는 외부 모델이 궤적 전체를 조망하여 Manager가 스스로 인지하지 못하는 논리적 루프를 끊어주는 역할을 수행한다.

현재 시스템은 장기적인 작업 분해(Long-horizon task decomposition)나 작업 간 지식 전이(Cross-task knowledge transfer)를 위한 정교한 메모리 구조를 갖추고 있지 않습니다. 또한 도구 호출 자체가 행동 단계를 소모하므로, 행동 예산이 극도로 제한된 환경에서는 경량 모델의 성능이 저하될 수 있습니다.