GUICrafter: 대규모 미주석 스크린샷을 활용한 약지도학습 기반 GUI 에이전트

GUI 에이전트는 세밀한 인터페이스 요소를 정확히 찾아야 정상적으로 동작하므로 고품질 주석 데이터가 없는 환경에서 성능 저하가 발생했다. 본 논문은 웹페이지와 모바일 스크린샷에서 자동으로 추출한 상호작용 신호를 활용해 주석 비용을 크게 줄이면서 시각적 그라운딩과 도메인 일반화를 향상시켰다. 대규모 미주석 데이터로 기초를 닦고 소량의 정제된 주석으로 보정하는 커리큘럼이 데이터 효율성을 크게 개선했다.

GUI 에이전트는 스크린샷 수준의 시각 정보를 바탕으로 클릭·타입·선택 같은 구체적 행동을 수행해야 하며, 정확한 시각적 그라운딩 없이는 다단계 작업이 실패하는 구조적 특성이 있다. 기존 접근은 고품질의 다수 주석된 GUI 궤적에 의존해 왔으나 이러한 주석은 대규모 확보가 비용상 불가능했다. 따라서 GUI 특화 지식은 대량 미주석 데이터에서 획득될 필요가 있다. GUICrafter는 미주석 스크린샷에서 브라우저 자동화 및 접근성 트리로부터 추출한 상호작용 신호를 메타-태스크로 요약해 약지도학습을 수행한다. 이 과정에서 모델은 '어떤 영역이 상호작용 가능한지'에 대한 통계적·구조적 패턴을 학습하게 되고, 학습 신호는 포인트-바운딩박스 좌표와 액션 타입, 텍스트 유사성 기반의 보상으로 구체화된다. 약한 신호로 먼저 시각적 그라운딩 능력을 확보한 뒤 소량의 정확한 주석으로 행동 선택과 의미적 정합성을 보정하는 커리큘럼이 핵심 원리이다. 가우시안 위치 보상과 형식 보상 같은 설계는 단순한 정답/오답 이진 신호보다 연속적이고 검증 가능한 피드백을 제공해 RL 기반 학습 안정성과 수렴을 돕는다. 특히 가우시안 보상은 예측점이 정답 중심에 가까울수록 지수적으로 높은 점수를 부여해 위치 민감성을 학습 목표로 명확히 설정한다. 이로 인해 소량의 고품질 주석으로도 모델이 올바른 인터랙션을 선택하도록 보정하는 것이 가능해진다.

전체 접근은 두 단계의 커리큘럼 학습으로 구성된다. 첫 단계는 약지도학습 프리트레이닝으로 대규모 미주석 웹페이지와 모바일 스크린샷을 수집하고 자동화 도구(예: Playwright)와 접근성 트리를 통해 클릭·타입·선택 가능한 요소의 위치 정보를 추출한다. 추출된 신호는 메타-태스크로 변환되어 모델이 주어진 메타-목표를 해결하도록 강화학습 신호로 사용된다. Stage1의 핵심 메커니즘은 검증 가능한 보상 설계와 통일된 액션 포맷이다. 모델은 …… 형식의 추론을 생성하고 최종 답을 JSON으로 출력한다. 형식 보상 R_f는 출력이 요구 JSON 형식에 엄격히 부합하면 1, 그렇지 않으면 0으로 설정된다. 액션 타입 보상 R_type은 예측 액션과 정답 액션이 일치할 때 1로, 그렇지 않을 때 0으로 설정된다. 위치 보상 R_p는 예측 지점 μ_p와 정답 중심 μ_{gt} 간의 가우시안 분포 값으로 계산된다. 계산 방식은 두 점의 편차를 바운딩박스 크기 기반의 분산으로 정규화한 뒤 exp(-1/2 [ ... ])를 취해 0에서 1 사이 값을 얻는다. 이 값은 예측이 중심에 가까울수록 1에 근접하고 멀수록 0에 가까워지며 단일 지표로 위치 정확도를 제공한다. 텍스트가 필요한 작업에는 토큰 수준 F1 임계치를 적용해 R_text를 산출하고 최종 액션 보상 R_a는 R_type·R_p 또는 R_type·R_p·R_text 조합으로 정의된다. 전체 보상 R는 R_a + β R_f로 계산되어 형식 준수와 행동 정확성의 균형을 조절한다. Stage2에서는 소량의 고품질 주석으로 GRPO 기반 강화학습을 수행해 Stage1이 제공한 시각적 지식을 행동 선택 수준으로 보정한다. Stage2 데이터는 Mind2Web, GUI-R1-3K, AMEX 등에서 정제한 6,795 웹/데스크탑 샘플과 3,200 모바일 샘플이 포함된다. Stage1이 제공한 광범위하지만 노이즈가 섞인 신호는 Stage2에서 정확한 행동 레이블과 정합되며 최종 정책 성능 향상으로 이어진다.

GUICrafter는 Mind2Web과 ScreenSpot-Pro를 포함한 다중 벤치마크에서 평가되었으며, 논문에 따르면 Stage1만으로도 기반 모델 대비 평균 그라운딩 정확도가 수십 퍼센트 포인트 수준으로 향상되었다. 전체 Stage1+2 파이프라인으로는 Qwen2.5-VL 기반 모델들과 비교해 동일한 규모 모델 내에서 최고 성능을 기록했으며, UI-TARS와 같은 대규모 데이터 기반 시스템과도 데이터 규모에 비해 동등하거나 더 우수한 성능을 달성했다. 논문은 특히 크로스-웹사이트와 크로스-도메인 분할에서 GUICrafter가 더 큰 개선을 보였음을 보고했다. Ablation 연구에서 가우시안 위치 보상은 이진 보상 대비 모든 관련 메트릭에서 개선을 가져왔고, Stage1의 데이터량을 늘리면 성능이 꾸준히 증가하여 약 350k 샘플 부근에서 수렴하는 경향을 보였다. 태스크 포뮬레이션 실험에서는 메타-태스크가 LLM-생성 태스크 및 인간 주석 태스크와 비교해 Stage2 미세조정 이후 유사한 성능을 내면서 주석 비용을 제거하는 이점을 제공했다. 노이즈 분석에서는 Stage1 데이터의 약 84.9%가 완전한 상호작용 신호를 포함했고 Stage2가 노이즈에 대한 강인성을 회복시키는 역할을 한다는 결과가 보고되었다. 온라인 및 실제 환경 평가에서도 의미 있는 성능 향상이 관찰되었다. AndroidWorld 온라인 평가에서 Stage1+2로 Episode Success Rate가 기존 GUI-R1 대비 약 11% 포인트 높아졌고 AITW의 제로샷 설정에서도 경쟁력 있는 결과를 얻었다. 이러한 결과는 약지도학습 기반 커리큘럼이 실제 환경에서의 일반화와 데이터 효율성에 실질적 이득을 준다는 근거가 된다.

전체 아키텍처는 Multimodal base language model(Qwen2.5-VL-3B 기반으로 실험) 위에 시각 입력 처리와 구조화된 출력 포맷을 결합한 형태이다. 입력으로는 스크린샷과 메타-태스크 지시문이 주어지고 출력은 JSON 포맷으로 action type, predicted position, optional input text를 반환한다. 이 출력은 형식 보상과 액션 보상 계산에 직접 연결되어 RL 업데이트의 입력이 된다. 보상 설계는 여러 구성요소로 이루어지며 수식으로 명확히 정형화되었다. 형식 보상 R_f는 출력 포맷의 유효성을 0/1로 반환한다. 액션 보상 R_a는 R_type·R_p 또는 R_type·R_p·R_text로 이루어지며, 여기서 R_p는 예측점 μ_p와 정답 중심 μ_{gt} 사이의 가우시안 확률밀도값으로 계산되어 거리 기반의 연속 보상을 제공한다. 이 보상 신호는 GRPO 알고리즘으로 최적화되며 β 하이퍼파라미터로 형식 보상과 행동 보상 간의 상대적 중요도를 조절한다. 데이터 및 학습 세부사항은 플랫폼별로 구분되어 있다. 웹·데스크탑 플랫폼에는 500K 약지도 샘플이 수집되었고 메인 실험에서는 20K를 사용했으며 Stage2에서는 6,795의 정제된 고품질 샘플을 사용했다. 모바일 플랫폼에는 136K 약지도 샘플 중 메인 실험에 9,600 샘플을 사용했고 Stage2에서는 3,200 샘플을 사용했다. 학습은 8개의 NVIDIA H20 GPU에서 수행되었고 모델 크기별로 3B와 7B 버전으로 실험이 보고되었다. 알고리즘적 기반으로는 GRPO가 정책 업데이트에 사용되며 논문은 GRPO의 구현과 RLVR 프레임워크를 통해 약지도학습 신호를 검증 가능한 보상으로 연결하는 절차를 정의했다. 액션 스페이스는 클릭·타입·선택을 통합한 통일된 표현을 사용해 서로 다른 플랫폼과 데이터셋 간에 일관된 학습을 가능하게 했다.

논문에서 명시한 주요 한계는 Stage2의 고품질 인간 주석 데이터에 여전히 일부 의존한다는 점이다. Stage1의 약지도 신호만으로는 메타-태스크 수준의 의미적 선택까지 완전하게 보장하지 못해 Stage2에서의 보정이 필요했다. 미래 과제로는 LLM 기반의 역합성(reverse GUI task synthesis)으로 완전 자동화된 데이터 플라이휠을 구축해 인간 주석 의존도를 추가로 줄이는 방향을 제시하고 있다.