UI-Zoomer: GUI 그라운딩을 위한 불확실성 기반 적응형 확대 프레임워크

기존의 GUI 에이전트는 화면 내 작은 아이콘이나 밀집된 레이아웃을 정확히 클릭하는 데 어려움을 겪었습니다. 이 논문은 모델이 스스로 예측의 불확실성을 판단하여 필요한 경우에만 필요한 만큼 화면을 확대하는 기술을 제안하여, 추가적인 모델 학습 없이도 정밀한 조작 성능을 크게 개선했습니다.

기존의 화면 확대(Zoom-in) 방식은 모든 경우에 일률적인 배율을 적용하거나 실행 오류가 발생한 뒤에야 작동하는 한계가 있었다. 이는 이미 충분히 잘 맞추고 있는 쉬운 케이스에서도 불필요한 연산을 수행하게 만들고, 오히려 전체적인 맥락을 잃게 하여 정확도를 떨어뜨리는 결과를 초래했다. Transformer 기반의 VLM이 출력하는 좌표 토큰들의 확률 분포와 여러 번 샘플링했을 때 나타나는 결과값들의 흩어짐 정도는 모델이 해당 작업을 얼마나 어려워하는지를 나타내는 직접적인 지표가 된다.

UI-Zoomer는 이 '예측의 흩어짐(Variance)'을 활용한다. 모델에게 동일한 질문을 여러 번 던져서 나온 결과들이 한곳에 모여 있고 확신이 높다면 그대로 결과를 채택한다. 반면, 결과들이 사방으로 흩어져 있다면 모델이 혼란을 겪고 있다고 판단하여 해당 영역을 중심으로 화면을 확대한다. 이때 단순히 고정된 크기로 자르는 것이 아니라, 결과값들이 퍼져 있는 범위에 맞춰 자르는 영역의 크기를 유연하게 조절한다.

결과적으로 모델은 작은 아이콘처럼 정밀도가 필요한 대상에 대해서는 돋보기를 들이대듯 세밀하게 관찰하고, 명확한 대상에 대해서는 한 번에 처리함으로써 정확도와 효율성을 동시에 확보한다. 이는 딥러닝의 확률적 특성을 추론 시점의 의사결정에 직접 연결하여 모델의 물리적 해상도 한계를 극복한 접근이다.

UI-Zoomer는 크게 세 단계로 작동한다. 첫 번째 단계는 Global Multi-Sampling으로, 온도(Temperature) T=0.9 설정에서 N=8개의 후보 박스를 생성한다. 각 후보 i에 대해 토큰 확률의 기하평균을 계산하여 신뢰도 c_i를 산출한다.

두 번째 단계는 Reliability Gating이다. 모든 후보 쌍 간의 평균 IoU를 계산한 공간적 합의 C_spatial과 평균 신뢰도 c_bar를 합산하여 게이팅 점수 S를 구한다. [S = C_spatial + c_bar] 연산을 통해 점수가 임계값 τ보다 높으면 모델이 충분히 확신한다고 판단하여 즉시 다수결 투표(Consensus Voting)로 최종 좌표를 결정하고 종료한다.

세 번째 단계는 Uncertainty-Driven Adaptive Crop이다. S가 τ 이하인 경우, 후보들의 중심점 위치 분산(v_inter)과 각 박스의 크기 정보(v_intra)를 결합하여 전체 분산 σ²을 계산한다. [σ = sqrt(v_inter + v_intra)] 연산으로 얻은 표준편차에 스케일 인자 γ를 곱해 크롭 반경 r을 결정한다. 이렇게 결정된 영역을 다시 모델의 입력 해상도로 리사이징하여 재추론을 수행함으로써 정밀한 좌표를 얻는다.

ScreenSpot-Pro 벤치마크에서 UI-Venus-7B 모델에 UI-Zoomer를 적용했을 때, 기본 모델 대비 11.8% 향상된 61.8%의 정확도를 기록했다. 특히 텍스트 타겟(+11.4%)보다 크기가 작고 모호한 아이콘 타겟(+12.5%)에서 더 큰 성능 향상을 보였다.

UI-Vision 데이터셋에서는 Qwen2.5-VL-7B 모델 기준 +10.3%의 성능 향상을 보였으며, 특히 공간적(Spatial) 카테고리에서 +6.3%의 개선을 확인했다. 이는 적응형 크롭이 복잡한 레이아웃 내의 위치 관계 파악에 효과적임을 입증한다.

ScreenSpot-v2 실험 결과, 무조건적인 확대를 수행하는 DiMo-GUI 방식은 오히려 정확도가 하락(81.84% → 77.20%)하고 추론 시간은 10배 이상 증가한 반면, UI-Zoomer는 정확도를 유지하거나 개선하면서도 추론 시간 증가를 최소화했다. Ablation Study를 통해 공간적 합의와 토큰 신뢰도를 모두 사용할 때 가장 높은 게이팅 성능이 나타남을 확인했다.

UI-Zoomer는 VLM의 추론 시점 스케일링(Test-Time Scaling)을 위한 아키텍처로, 모델 가중치를 수정하지 않는 플러그인 형태다. 핵심은 '전체 분산의 법칙(Law of Total Variance)'을 좌표 예측에 적용한 것이다. 타겟 위치 Z의 분산을 모델 입력 I가 주어졌을 때의 조건부 기댓값의 분산(v_inter)과 조건부 분산의 기댓값(v_intra)으로 분해하여 모델의 불확실성을 물리적인 크롭 영역으로 변환한다.

v_inter는 샘플링된 중심점들이 평균에서 얼마나 떨어져 있는지를 측정하며, v_intra는 각 샘플이 예측한 객체의 크기(너비/높이)를 가우시안 분포의 ±2σ 범위로 간주하여 계산한다. 이를 통해 후보들이 서로 다른 곳을 가리키면 크롭 영역이 넓어지고, 후보들이 일치하더라도 예측된 객체 자체가 크면 그에 맞춰 크롭 영역이 확보되도록 설계했다.

또한, 이상치(Outlier)에 의한 크롭 영역 왜곡을 방지하기 위해 중심점에서 가장 가까운 75%의 후보만 사용하는 필터링 과정을 포함한다. 최종 크롭 영역은 시각적 맥락 보존을 위해 항상 정사각형(Squarify)으로 유지하며, 이미지 경계를 벗어날 경우 크기를 유지한 채 안쪽으로 이동(Shift)시키는 전략을 취해 정보 손실을 방지한다.

매우 밀집된 레이아웃에서 서로 유사하게 생긴 아이콘들이 여러 개 존재할 경우(Strong visual distractors), 모델이 여전히 혼란을 겪어 잘못된 영역을 확대하거나 오답을 낼 수 있다. 또한, 타겟이 극도로 작아서 초기 샘플링 단계에서 후보들이 타겟 근처에 전혀 생성되지 않는 경우에는 복구가 어렵다는 한계가 있다.