화면 위의 튜링 테스트: 모바일 GUI 에이전트 인간화를 위한 벤치마크

자율형 GUI 에이전트가 확산됨에 따라 디지털 플랫폼의 봇 탐지 시스템과의 갈등이 심화되고 있다. 이 논문은 에이전트가 단순히 작업을 수행하는 것을 넘어, 인간과 구별할 수 없는 행동 특성을 갖추는 '인간화' 기술이 에이전트의 생존과 공존에 필수적임을 입증한다.

기존의 GUI 에이전트는 LMM을 통해 화면을 이해하고 논리적인 명령을 내리는 데 집중해왔다. 하지만 실제 터치 이벤트를 발생시킬 때, 에이전트는 인간 특유의 생체 역학적 노이즈나 곡선 궤적 없이 완벽하게 직선적이고 일정한 속도로 움직이는 경향이 있다. 이러한 기계적인 규칙성은 탐지 알고리즘이 에이전트를 인간과 즉각적으로 구분해내는 결정적인 단서가 된다.

이 논문은 에이전트의 행동을 '논리적 액션 레이어'와 '물리적 이벤트 레이어'로 분리하여 접근한다. 논리적으로는 정확한 작업을 수행하되, 물리적으로는 인간의 터치 습관을 모방하도록 만드는 것이다. 이를 위해 실제 인간의 터치 데이터를 참조하여 에이전트의 직선 궤적을 인간의 곡선 궤적으로 매핑하거나, LMM의 추론 시간 때문에 발생하는 부자연스러운 지연 시간을 메우기 위해 의미 없는 미세 동작(Fake Action)을 삽입하는 방식을 사용한다.

결과적으로 에이전트는 탐지 시스템을 속일 수 있는 '인간다운' 겉모습을 갖추게 된다. 이는 단순한 시각적 모방이 아니라, 탐지기(Detector)와 에이전트(Agent) 사이의 MinMax 게임 이론을 바탕으로 행동 분포의 차이(Jensen-Shannon Divergence)를 최소화하는 수학적 원리에 기반한다.

에이전트와 탐지기 사이의 상호작용을 MinMax 최적화 문제로 모델링한다. 탐지기 D는 인간과 에이전트의 행동 분포 차이를 극대화하여 분류 정확도를 높이려 하고, 에이전트 G는 작업 유틸리티를 유지하면서 이 차이를 최소화하는 방향으로 매개변수 Φ를 학습한다.

인간의 터치 데이터를 활용하는 History Matching 전략을 사용한다. 작업 벡터 v_task가 주어지면 데이터셋에서 유사한 거리와 방향을 가진 인간의 참조 궤적 T_ref를 샘플링한다. 이후 p' = s * R(θ) * (p - p_start) + P_start 식을 통해 아핀 변환을 수행한다. 여기서 s는 스케일링 인자, R(θ)는 회전 행렬이며, 이를 통해 실제 인간의 속도 프로필과 미세한 떨림(Micro-jitters)을 에이전트의 동작에 이식한다.

시간적 비일관성을 해결하기 위해 Fake Action 주입 기법을 적용한다. LMM의 긴 추론 대기 시간 동안 발생하는 유휴 상태를 가리기 위해 푸아송 프로세스(Poisson process, λ=0.9 Hz)에 따라 미세한 스크롤이나 호버링 같은 비기능적 입력을 생성한다. 이는 에이전트의 시간적 프로필을 인간과 유사한 연속적인 형태로 변환한다.

순수 LMM 기반 에이전트(RAW)는 XGBoost 및 SVM 탐지기에서 99% 이상의 정확도로 즉각 탐지되었다. 특히 직선 궤적의 선명도(maxDev)와 터치 지속 시간(Tap Duration)이 탐지에 가장 취약한 요소로 나타났다.

History Matching 기법을 적용했을 때, 탐지 정확도가 크게 하락했다. Social Media 클러스터에서 XGBoost 탐지 정확도는 1.0000에서 0.9450으로 감소했으며, 단순 노이즈 주입(B-spline)보다 일관되게 우수한 성능을 보였다. Fake Action 주입은 시간 간격 기반 탐지 규칙의 정확도를 무작위 수준인 0.52까지 낮추는 데 성공했다.

작업 성공률(Utility) 측면에서는 트레이드오프가 관찰되었다. 단순한 작업에서는 인간화 이후에도 성공률이 유지되거나 소폭 상승했으나, 복잡한 Trip Planning 작업에 Fake Action을 주입할 경우 논리적 흐름 방해로 인해 성공률이 0.75에서 0.15로 급락하는 현상이 발생했다.

아키텍처는 기존 LMM 에이전트 외부에 'External Wrapper'를 두는 구조를 채택하여 모델 불가지론적(Model-agnostic) 호환성을 확보했다. 이 래퍼는 LMM이 생성한 원시 액션을 수신하여 인간화 알고리즘을 거친 후 OS에 전달한다.

이론적으로 세 가지 정리를 증명했다. 정리 1은 탐지기의 성능 상한이 인간과 에이전트 분포 간의 Jensen-Shannon Divergence에 의해 결정됨을 보여준다. 정리 2는 변동성 주입(Variance Injection)이 이 발산을 엄격하게 감소시킴을 입증하며, 정리 3은 History Matching이 점진적으로 실제 인간 분포에 수렴하는 점근적 우월성을 가짐을 수학적으로 뒷받침한다.

특징 추출 과정에서 Kinematics(속도, 가속도), Geometry(경로 효율성, 곡률), Temporal Dynamics(지속 시간, 대기 시간) 등 24가지 통계적 피처를 정의했다. 정보 이득(Information Gain) 분석 결과, maxDev와 같은 기하학적 피처가 탐지에 가장 유의미한 정보를 제공함을 확인했다.

현재 연구는 터치 역학(MotionEvents)에 집중하고 있으며, 자이로스코프나 가속도계와 같은 물리적 센서 데이터(SensorEvents)의 인간화는 시스템 레벨의 API 개입이 필요하여 향후 과제로 남겨두었다. 또한, 무분별한 가짜 액션 주입이 에이전트의 논리적 작업 흐름을 방해하여 성공률을 떨어뜨리는 부작용이 존재한다.