PAGER: 점-정밀 기하 GUI 제어에서 의미-실행 간 간극을 연결하다

현대 GUI 에이전트는 멀티모달 지능으로 다양한 인터페이스를 제어하지만, 많은 시스템은 근접 픽셀을 허용하는 영역 기반의 상호작용에 의존한다. 이러한 방식은 점 수준의 좌표 정확도와 기하학적 제약을 필요로 하는 정밀 그래픽 구성에서 실패하기 쉬운데, 이는 의존 관계의 누적 오차로 인한 구조 붕괴를 유발한다. PAGE Bench와 PAGER는 이 정밀-민감 영역을 측정하고, 의존 구조화된 계획과 픽셀 수준 실행으로 이 간극을 해소한다.

정밀-민감 GUI 작업은 연속 캔버스 공간에서 점 단위 좌표 정확도가 필요하며, 작은 좌표 오차가 의존 관계를 통해 후속 도형에 누적된다. 이는 region-tolerant GUI 상에서 발생하는 문제와 다르다. PAGER는 계획 모듈이 의존성 그래프를 구성하여 하위 작업의 순서를 결정하고, 실행 모듈이 현재 캔버스 상태에 조건화된 픽셀 수준 액션을 수행하도록 분리한다. Pixel-grounded SFT는 실행 그랜드의 구문을 학습시키고, RL은 파라미터 정확도 보상과 액션-타입 보상을 결합해 점-레벨 제어를 강화한다. 실험에서 대부분의 모델은 의미 수준은 이해하지만 점-정밀 파라미터를 유지하는 능력이 부족하다. PAGER의 조합은 이러한 약점을 보완한다.

아키텍처: PAGER는 Planning Module과 Task Execution Module로 구성되며, 문제(Q)로부터 구성 그래프 GQ와 서브-작업 T를 생성한다. 각 서브-작업은 여러 액션으로 분해되며, 각 액션은 (κ, o, ξ)로 표현된다. Pixel-Precise Data Construction: 정밀한 데이터 트래젝토리를 생성하고, 좌표를 캔버스 픽셀로 투사한다. SFT 목표는 로그 확률의 합을 최대화하는 것이다. SL Approach: SFT는 teacher-forced 스크립트를 사용하되 inference 시점에서 상태-의존적 스크린샷을 사용해 rollout의 차이를 줄인다. RL: 보상은 (i) action-type matching, (ii) parameter-accuracy, (iii) dgeo 기반 물리적 유사성으로 정의된다. RL은 KL 제약 하에서 SFT와의 차이를 조절한다. 학습 설정: Qwen3-VL-8B 기반으로 8 GPUs에서 1에폭 학습; 8 후보 샘플, rejection sampling; ZeRO-2 및 bf16. 처리: 도출된 문제에 대해 목표 도형을 GeoGebra 환경에서 재현하고, 각 서브-작업의 액션 시퀀스가 문제의 제약과 일치하도록 평가.

Main Results: PAGER은 Overall 29.52로 최상위 성능을 달성했다. Middle Process 41.25, Final 17.79를 기록했다. Task 성공은 23.78로 strongest baseline인 Gemini-3.1-Pro 대비 약 4.1x 개선이다. Ablation Study: SFT 기반 실행 Prior는 20.47의 Overall을 달성했고, 파라미터 정확도 보상 없이 액션-타입 보상만 사용하면 Task 성능이 크게 감소한다. RLparam만 추가하면 파라미터 정확도는 개선되지만, 여전히 파라미터 drift가 문제로 남는다. RLaction를 추가하면 Task 성능과 Middle 점수 모두 상승하고, 두 보상이 합쳐져 최종적으로 가장 높은 Overall(29.52)을 달성한다.

아키텍처 구조: Planning Module과 Task Execution Module로 구성. GQ 구성 그래프에서 T를 생성하고, 각 T는 다수의 액션으로 분해된다. Pixel-Precise Data Construction은 문제-태스크-비정상 상태 사이의 매핑과 좌표 투사를 포함한다. SFT 손실은 log 확률의 합을 최대화하며, inference 시 self-generated screenshot을 사용해 rollout 차이를 줄인다. RL은 Action Type Reward, Parameter Accuracy Reward, 및 dgeo 기반 거리를 포함하는 복합 보상으로 구성되며 KL 제약 하에 SFT와의 차이를 최소화한다.