iOSWorld: 개인 맞춤형 전화 에이전트를 위한 벤치마크

현대 스마트폰은 여러 앱에 걸친 개인 데이터를 보유한다. 이러한 데이터를 활용해 사용자 의도와 과거 행동을 파악하는 에이전트의 능력이 핵심적이다. 기존 벤치마크는 cross-app 맥락과 개인화 요소를 충분히 반영하지 못한다. iOSWorld는 26개 네이티브 앱에 걸친 지속적 사용자 아이덴티티를 기반으로 133개의 태스크를 제시하고, 단일 앱에서 다중 앱으로 이어지는 맥락 추론과 기억 능력을 정량적으로 평가한다.

단계 1: 문제 정의에서 개인화된 에이전트는 단일 앱 상태에 국한되지 않고 사용자 아이덴티티와 히스토리에 의존한다. 기존 벤치마크가 이를 반영하지 못한다. 단계 2: iOSWorld는 Jordan Avery라는 페르소나를 26개 앱에 걸쳐 공유 데이터로 연결하고, 앱 간 데이터 연결성을 통해 교차-앱 추론을 요구한다. 단계 3: 두 관측 모드(vision-only, vision+XML)와 모바일용 CUAs를 iOS에 맞게 변환해 실험 가능하게 한다. 단계 4: 평가 프레임워크로 LLM-as-a-judge를 도입하고, 인간 평가와의 일치를 확인한다. 단계 5: 결과적으로 강력한 frontier 모델일수록 XML 접근으로 성능이 크게 개선되며, 작은 모델은 같은 이점을 얻지 못한다.

환경은 POMDP로 모델링된다(S,S,A,Ω,T). 관측 공간은 vision-only(스크린샷)과 vision+XML(XCUITest로 얻은 접근성 트리)을 포함한다. 액션은 모드에 따라 tap x/y, type, swipe, launch app 등으로 구성되며, XML에서 접근성 식별자를 이용한 tap도 가능하다. Table 1은 모드별 액션 매핑을 제시한다. iOSWorld의 CUAs를 iOS로 매핑하기 위한 번역 계층이 도입되며, 0-1000 스케일의 좌표를 사용한다. Stage-1: Claude Code로 26앱의 seed 데이터와 앱 소스 기반 태스크를 생성한다. Stage-2: Python 파이프라인으로 앱명 정규화, 태스크 문장화 및 루브릭 생성, Stage-3: 사람 평가자에 의해 엔드투엔드 실행 확인. Stage-4: 평가는 trajectory-level LLM-judge(GPT-5.4 Mini)로 수행하고, 사람 검증과 κ=0.77의 일치를 확인한다.

주요 결과는 Vision+XML이 강력한 frontier 모델의 성능을 크게 끌어올린다는 점이다. Opus 4.6은 Overall 52%로 상승했고 Single-App는 82%, Memory 54%, Multi-App는 37%에 도달했다. Sonnet 4.6은 47%, GPT-5.4는 40%로 상승했다. 반면 Qwen3.5 35B-A3B는 Vision+XML에서도 이득이 작지 않아도 제한적이며, Multi-App에서의 개선은 크지 않다. 예시로 Memory-trajectory에서 Opus가 29단계의 메모리 태스크에서 54%를 기록하는 등 메모리 태스크가 상대적으로 잘 해결되나, Multi-App 태스크가 가장 어렵다. 실패 원인은 예산 소진(budget exhausted)이 전체 실패의 큰 부분을 차지하며, 약 50% 이상이 해당 원인으로 분류된다. 인간-판정자와의 일치도는 task 수준에서 κ=0.77로 확인되었다. 오픈소스 도입으로 재현성과 확장이 가능하다.

구현 레이어는 macOS에서 Appium + XCUITest 드라이버를 이용해 iOS 시뮬레이터를 제어한다. 8개의 병렬 워커와 24GB MacBook Pro 수준의 리소스로 2–4GB RAM의 시뮬레이터 인스턴스를 구동한다. Task의 길이는 최대 50단계이며, 각 단계마다 스크린샷이 첨부된다. 평가 방식은 trajectory를 기반으로 하는 LLM-judge로, 128개의 Trajectories에서 κ=0.77의 task-level 일치도를 확인했다. Cross-judge 실험에서도 일치도는 0.49~0.66 사이로 확인되며, 피험자별 변동성을 낮추기 위해 단계별 루브릭 점수와 최종 binary 성공 여부를 함께 보고한다. iOS 고유의 인터랙션 특성(좌측 스와이프를 통한 뒤로 가기, 좌표 기반 목표 식별의 어려움)이 비전-only에서 10%대의 좌표 간격 재시도율로 나타났고, XCUITest 접근성 트리의 대체 입력이 경우에 따라 큰 차이를 만들었다.