GPA: 시연을 통한 GUI 프로세스 자동화 학습

섹션별 상세

기존 RPA는 UI 요소의 미세한 변화에 취약하고 최신 VLM 에이전트는 결과가 일정하지 않은 문제가 있었다. GPA는 단 한 번의 시연 영상을 입력받아 비전 기반으로 프로세스를 학습하고 재현함으로써 이 문제를 해결한다. 이 방식은 시연 한 번으로 빠르고 안정적인 프로세스 재현을 가능하게 한다. 이를 통해 기업용 워크플로에 필요한 높은 안정성과 재현성을 확보했다.

화면 크기 조정이나 감지 불확실성 문제를 해결하기 위해 Sequential Monte Carlo 기반의 위치 추적 알고리즘을 적용했다. 이 방식은 시연 시의 UI 요소 위치를 현재 화면에서 확률적으로 추적하여 정확한 클릭 지점을 찾아낸다. 다양한 해상도와 환경 변화에서도 중단 없는 자동화가 가능하다. 비전 기반의 강건한 위치 추적 성능을 입증했다.

자동화의 신뢰성을 높이기 위해 '준비 상태 보정(readiness calibration)' 메커니즘을 도입하여 결정론적 실행을 보장한다. 시스템이 다음 단계를 수행하기 전 UI가 올바른 상태인지 스스로 판단하고 보정하는 과정을 거친다. 이는 예기치 않은 팝업이나 로딩 지연으로 인한 자동화 실패를 방지하는 핵심 장치다. 기업 환경에서 요구되는 높은 신뢰도를 충족한다.

성능 평가 결과, GPA는 Gemini 3 Pro(CUA 도구 포함)와 비교했을 때 긴 단계의 GUI 작업에서 더 높은 성공률을 보였다. 로컬 실행 구조 덕분에 네트워크 지연 없이 즉각적인 반응이 가능하며 기업의 민감한 데이터 유출 위험도 차단한다. 실행 속도 면에서 10배 더 빠른 성능을 기록하며 실무 적용 가능성을 입증했다. 효율성과 보안성을 동시에 달성한 결과다.

용어 해설

로봇 프로세스 자동화(RPA): — 소프트웨어 로봇을 통해 반복적인 비즈니스 프로세스를 자동화하는 기술이다. GPA는 이를 비전 기반으로 개선하여 기존의 취약한 규칙 기반 시스템보다 높은 유연성을 제공한다.
순차적 몬테카를로(Sequential Monte Carlo): — 복잡한 확률 분포를 입자 필터링을 통해 추정하는 알고리즘이다. GPA에서는 화면 내 UI 요소의 위치를 동적으로 추적하여 해상도 변화나 감지 불확실성 속에서도 정확한 조작 지점을 찾는 데 사용된다.
시각 언어 모델(VLM): — 이미지와 텍스트를 동시에 이해하는 AI 모델이다. 최근 GUI 에이전트의 기반이 되지만 실행 속도가 느리고 비결정적인 특성 때문에 기업용 자동화에서는 안정성 문제가 제기되기도 한다.
장기 과업(Long-horizon Task): — 완료하기 위해 수많은 중간 단계를 거쳐야 하는 복잡한 작업이다. GUI 자동화에서 단계가 길어질수록 오류가 누적되기 쉬워 높은 수준의 안정성과 재현성이 요구되는 난이도 높은 영역이다.

기술

GPA
Gemini 3 Pro
MCP
Sequential Monte Carlo

활용 사례

기업용 워크플로 자동화
AI 에이전트의 GUI 실행 도구
프라이버시 중심의 로컬 자동화

언급된 리소스

논문GPA: Learning GUI Process Automation from Demonstrations