GUI-Libra: 행동 인식 지도 학습 및 부분 검증 가능 강화학습을 통한 추론 및 행동 수행 네이티브 GUI 에이전트 학습

오픈소스 네이티브 GUI 에이전트는 장기적인 내비게이션 작업(long-horizon navigation tasks)에서 여전히 폐쇄형 시스템에 비해 뒤처져 있습니다. 이러한 격차는 고품질의 행동 정렬 추론 데이터(action-aligned reasoning data) 부족과 GUI 에이전트만의 독특한 과제를 간과한 일반적인 사후 학습 파이프라인(post-training pipelines)의 직접적인 채택이라는 두 가지 한계에서 비롯됩니다. 본 연구에서는 이러한 파이프라인의 두 가지 근본적인 문제를 식별했습니다. 첫째, 사고의 사슬(Chain-of-Thought, CoT) 추론을 포함한 표준 지도 미세 조정(Supervised Fine-Tuning, SFT)은 종종 그라운딩(grounding) 능력을 저해합니다. 둘째, 단계별 강화학습(Reinforcement Learning from Verifiable Rewards, RLVR) 방식의 학습은 여러 행동이 정답일 수 있음에도 단일 시연 행동만 검증에 사용되는 부분 검증 가능성(partial verifiability) 문제에 직면합니다. 이로 인해 오프라인 단계별 지표가 온라인 작업 성공을 제대로 예측하지 못하게 됩니다. 본 논문에서는 이러한 문제를 해결하기 위해 맞춤형 학습 레시피인 GUI-Libra를 제안합니다. 먼저, 행동 정렬 추론 데이터의 희소성을 완화하기 위해 데이터 구축 및 필터링 파이프라인을 도입하고 정제된 81K GUI 추론 데이터셋을 공개합니다. 둘째, 추론과 그라운딩을 조화시키기 위해 '추론 후 행동' 데이터와 '직접 행동' 데이터를 혼합하고 토큰 가중치를 재조정하여 행동과 그라운딩을 강조하는 행동 인식 SFT(action-aware SFT)를 제안합니다. 셋째, 부분 검증 가능성 하에서 강화학습을 안정화하기 위해 RLVR에서 간과되었던 KL 정규화(KL regularization)의 중요성을 확인하고, 오프라인-온라인 예측 가능성을 개선하는 데 KL 신뢰 영역(KL trust region)이 필수적임을 보여줍니다. 나아가 신뢰할 수 없는 음의 그래디언트(negative gradients)의 가중치를 낮추는 성공 적응형 스케일링(success-adaptive scaling)을 도입합니다. 다양한 웹 및 모바일 벤치마크에서 GUI-Libra는 단계별 정확도와 엔드 투 엔드 작업 완료율을 일관되게 개선했습니다. 결과적으로 신중하게 설계된 사후 학습과 데이터 큐레이션이 값비싼 온라인 데이터 수집 없이도 강력한 작업 해결 능력을 이끌어낼 수 있음을 시사합니다.