PIRA-Bench: 반응형 GUI 에이전트에서 GUI 기반 능동적 의도 추천 에이전트로의 전환

기존 GUI 에이전트는 사용자의 명시적 명령이 있어야만 작동하는 수동적 한계가 있었습니다. 이 논문은 화면 흐름을 실시간으로 분석해 사용자가 다음에 무엇을 할지 스스로 제안하는 능동형 AI의 가능성을 열고, 이를 평가할 수 있는 엄격한 기준을 제시합니다.

단락 1: 기존 GUI 에이전트는 사용자가 명시적인 명령을 내릴 때까지 대기하는 반응형 구조다. 이는 강화학습의 기초인 POMDP 모델에서 'Instruction'이 주어져야만 보상 함수나 목표 상태가 정의되는 것과 같다. 명령이 없으면 에이전트는 현재 화면에서 어떤 행동을 해야 할지 판단할 근거가 없어 유휴 상태에 머물게 된다. 단락 2: 이 논문은 명령 없이도 연속적인 스크린샷 흐름을 분석해 사용자의 잠재적 의도를 스스로 찾아내는 능동형 패러다임을 제안한다. 이를 위해 에이전트는 화면 속의 텍스트와 시각적 요소를 임베딩 공간에서 해석하고, 과거의 행동 맥락과 결합하여 다음에 올 수 있는 유효한 작업(Actionable Intent)을 확률적으로 추론한다. 단락 3: 이러한 전환은 AI가 단순한 도구를 넘어 사용자의 의도를 앞서 읽는 진정한 비서로 진화함을 의미한다. 특히 여러 앱을 오가는 복잡한 멀티태스킹 상황에서도 각 작업의 맥락을 분리해 관리함으로써, 사용자의 인지 부하를 줄이고 작업 효율을 극대화한다.

단락 1: PIRF(Proactive Intent Recommendation Framework)는 MLLM을 기반으로 하며, 긴 시각적 시퀀스를 효율적으로 처리하기 위해 동적 메모리 모듈을 도입했다. 이 모듈은 사용자의 선호도가 담긴 프로필과 현재 활성화된 여러 작업 스레드를 관리하며, 매 시점마다 MLLM의 컨텍스트에 이 정보를 주입한다. 단락 2: 에이전트의 행동은 네 가지 상태 전이 액션으로 정의된다. [현재 화면과 메모리 내 의도 목록을 입력으로] -> [MLLM이 상황을 분석하여 CREATE, RESUME, UPDATE, IDLE 중 하나를 선택하는 연산을 수행해] -> [갱신된 의도 상태를 얻고] -> [이는 새로운 작업을 시작할지, 기존 작업을 이어갈지, 혹은 의미 없는 노이즈로 무시할지를 결정하는 기준이 된다]. 단락 3: 환각 억제를 위해 자기 반성(Reflection) 메커니즘을 사용한다. [메모리에 저장된 각 의도 ID와 현재 화면 정보를 입력으로] -> [해당 의도가 여전히 유효한지 또는 완료되었는지 판별하는 연산을 수행해] -> [삭제 대상 ID 목록을 얻고] -> [불필요한 정보를 메모리에서 즉시 제거하여 모델의 인지 부하를 낮추고 예측 정확도를 높인다].

단락 1: PIRA-Bench에서 수행된 실험 결과, 최신 MLLM들은 노이즈가 없는 환경에서는 74% 이상의 F1 스코어를 기록하며 우수한 성능을 보였다. 그러나 실제 환경과 유사한 노이즈가 섞인 환경에서는 정밀도가 급격히 하락하는 '과잉 능동성' 문제가 발견되었다. 특히 GPT-5.2는 노이즈 환경에서 정밀도가 31.95%로 떨어지며 가장 낮은 노이즈 견고성을 보였다. 단락 2: 제안된 PIRF 프레임워크를 적용했을 때 모든 모델의 성능이 유의미하게 향상되었다. GPT-5.2의 경우 정밀도가 50.52%로 18.57%p 상승했으며, 최종 점수(Sfinal)는 12.76%에서 24.00%로 두 배 가까이 개선되었다. 이는 구조화된 상태 추적과 메모리 관리가 능동형 에이전트의 환각을 제어하는 데 필수적임을 시사한다. 단락 3: 인간의 성능은 최종 점수 90.35%를 기록하여 현재 AI 모델(최고 28.05%)과 큰 격차를 보였다. 인간은 노이즈 상황에서 96.23%의 높은 견고성을 유지한 반면, 모델들은 여전히 의미 없는 화면에서도 의도를 억지로 찾아내려는 경향이 강해 향후 '침묵해야 할 때'를 학습하는 것이 중요한 연구 방향임을 확인했다.

단락 1: PIR 태스크는 연속적인 관측 스트림 T와 사용자 프로필 P를 기반으로 미래의 의도 집합 I를 예측하는 매핑 함수를 학습하는 과정이다. 수학적으로는 I = arg max P(I | T, P)로 표현되며, 이는 단순한 현재 작업 보조를 넘어 잠재적 목표를 생성하는 생성적 추론을 요구한다. 단락 2: 궤적의 복잡성을 다루기 위해 관측 스트림을 여러 작업 서브 궤적과 노이즈의 합집합으로 모델링한다. 모델은 비연속적인 프레임들 사이의 연관성을 찾아내는 시간적 신용 할당을 통해 얽혀 있는 의도들을 분리해야 한다. 단락 3: 평가 시스템은 LLM-as-a-Judge 방식을 채택하여 Gemini-3-flash 모델이 예측된 의도와 정답 의도의 의미적 일치도를 판별한다. 이때 사용자 프로필 컨텍스트를 함께 제공하여 예측된 의도가 사용자의 사회경제적 상태나 개인적 선호에 부합하는지도 엄격히 검증한다.

인간의 성능과 비교했을 때 여전히 큰 격차가 존재하며, 특히 노이즈가 많은 환경에서 불필요한 예측을 억제하는 능력이 부족합니다. 또한 인간 평가자 대비 모델의 추론 시간이 훨씬 짧지만, 정밀도 면에서는 개선의 여지가 큽니다.