TL;DR
GUI 에이전트에 요구되는 클릭 좌표는 지역적이고 높은 공간 정밀도를 필요로 하며 기존의 자동회귀 좌표 생성 방식은 중간층의 지역 증거를 최종 좌표로 안정적으로 전달하지 못하는 문제가 존재한다. 이 문제를 외부 크롭과 재실행 없이 단일 포워드에서 해결하면 대화형 응용에서 레이턴시와 계산 비용을 크게 줄이면서도 정확도를 개선할 수 있다. 논문은 InnerZoom으로 여러 벤치마크에서 SOTA 성능을 달성하면서 지연을 최대 31.8% 줄이고 TFLOPs를 약 29% 절감한 수치를 제시한다.
왜 중요한가
GUI 에이전트에 요구되는 클릭 좌표는 지역적이고 높은 공간 정밀도를 필요로 하며 기존의 자동회귀 좌표 생성 방식은 중간층의 지역 증거를 최종 좌표로 안정적으로 전달하지 못하는 문제가 존재한다. 이 문제를 외부 크롭과 재실행 없이 단일 포워드에서 해결하면 대화형 응용에서 레이턴시와 계산 비용을 크게 줄이면서도 정확도를 개선할 수 있다. 논문은 InnerZoom으로 여러 벤치마크에서 SOTA 성능을 달성하면서 지연을 최대 31.8% 줄이고 TFLOPs를 약 29% 절감한 수치를 제시한다.
핵심 기여
Region-to-Point Gap의 규명
중간 디코더 층에서 타깃 영역에 대한 강한 응답이 형성되지만 최종 좌표 예측 직전에서 이 응답이 급감하여 정확한 클릭으로 변환되지 않는 현상이 관찰되었다. 이 현상은 ROI Recall 수치로 정량화되었으며 피크 레이어와 최종 레이어 사이에서 평균 54.9pp의 하락이 보고되었다. 해당 관찰은 단순한 시각 정보 부족이 아니라 중간 증거의 보존과 변환 과정의 병목임을 보여준다.
단일 포워드 교차층 증거 브리징 프레임워크 도입
InnerZoom은 중간 디코더 응답에서 타깃 지역을 추출하여 원래 포워드에서 얻은 세부 비전 특징을 회수하고 두 개 슬롯을 가진 교차층 증거 워크스페이스에서 순차적으로 정제한다. 정제된 슬롯 증거는 선택된 타깃 영역 위치의 key/value 투영으로만 주입되어 자동회귀 디코딩 흐름을 보존하면서 위치 민감 증거를 제공한다. 이 설계는 외부 크롭-재실행을 대체하여 단일 전달로 지역 정밀도를 유지한다.
규모 일치 비교에서의 실험적 우위 및 효율성 개선
동일한 4B 백본과 SFT+RL 훈련 설정 하에서 InnerZoom-4B는 다수의 GUI 벤치마크에서 기존 최강 기법을 능가했으며 OSWorld-G에서 64.7, UI-Vision에서 40.2, OSWorld-GR에서 73.1, MMBench-GUI에서 87.6의 성능을 보고했다. InnerZoom은 평균적으로 Baseline SFT+RL 대비 5.3pp 개선을 보였고 두-패스 ZoomIn 대비 평균 +1.3pp의 추가 이득을 달성했다. 계산 측면에서 end-to-end 레이턴시를 최대 31.8% 줄이고 TFLOPs를 약 29% 감소시켜 재실행 기반 방법보다 효율적임이 확인되었다.
설계 선택의 계량적 검증과 약화분석
교차층 인터랙션을 삽입하는 계층의 수와 슬롯 개수에 대한 약화 실험이 수행되어 중간-후반부의 소수 층(예: 20, 23, 26, 29)과 두 슬롯 설계가 성능 대비 파라미터 효율에서 최적임이 확인되었다. 두 슬롯 설계는 180.4M의 학습 가능한 파라미터를 추가하고 가중 평균 정확도에서 단일 슬롯이나 세 슬롯보다 우수했다. 인터랙션을 마지막 계층까지 촘촘히 삽입하면 소폭의 성능 향상만 얻으면서 파라미터가 크게 증가하는 것으로 나타났다.
핵심 아이디어 이해하기
문제의 출발점은 MLLM 기반 자동회귀 좌표 생성이 지역 수준의 시각 증거를 점 수준의 좌표 토큰으로 안정적으로 전달하지 못하는 데 있다. 디코더 중간층은 텍스트-이미지 응답 맵에서 타깃 영역을 높은 확률로 하이라이트하지만, 이후의 층 변환 과정에서 그 신호가 희석되어 정확한 좌표로 이어지지 않는다. 이로 인해 모델은 올바른 영역을 '알고'도 최종 클릭은 놓치는 현상이 빈번하게 발생한다.
관련 Figure
상단 그래프는 디코더 레이어별 ROI Recall이 중간층에서 피크를 이루다가 최종층에서 급락함을 수치로 제시하며 Region-to-Point Gap를 계량적으로 지지한다. 다른 패널들은 타깃-지향 주의 증폭이 정확도를 향상시키고 무작위 토큰 증폭은 이득을 주지 못한다는 개입 실험 결과를 보여줘 중간 증거의 인과적 관련성을 보완적으로 뒷받침한다. 이 그림은 방법의 동기와 내부 증거 보존 필요성에 대한 핵심 근거로 연결된다.
중간층 ROI Recall, 최종 그라운딩 정확도, 주의 모듈레이션 실험 등을 보여주는 정량적 결과와 사례 그림이 결합된 피규어이다.
방법론
InnerZoom의 작동 원리는 세 단계로 구성된다. 첫째, 디코더의 중간 층(hidden states)에서 텍스트-이미지 응답 맵을 계산하여 상위 응답 연결 컴포넌트를 바운딩 박스 형태의 조밀한 타깃 지역 프라이어로 변환한다. 둘째, 해당 지역 프라이어를 기준으로 비전 인코더의 언머지(unmerged) 패치 수준 특징을 회수하여 Iterative Evidence Adapter에 입력으로 제공한다.
관련 Figure
해당 도식은 기존 방법이 한 번의 전진 후 외부에서 타깃 영역을 크롭하고 재전달하여 두 번째 전진을 수행하는 흐름을 나타낸다. InnerZoom은 동일한 인풋 포워드 내에서 중간층 응답으로부터 지역 증거를 추출하고 슬롯 워크스페이스에서 정제한 뒤 키/값으로 재주입하여 추가 전진을 피하는 과정을 보인다. 이 그림은 논문의 핵심 설계가 외부 재관찰을 대체하며 지연과 계산 비용을 낮춘다는 주장과 직접 연결된다.
ZoomIn 스타일의 외부 크롭-재실행과 InnerZoom의 단일 포워드 내부 줌 작동을 비교한 개념도이다.
다이어그램은 입력 스크린샷과 유저 지시를 받아 디코더의 중간 응답으로부터 타깃 지역 토큰을 추출하고 최종 레이어의 비전 특징을 회수하는 구체적 절차를 단계별로 보여준다. 슬롯 쿼리 구성, prior 기반 어텐션, 게이팅을 통한 슬롯 업데이트, 그리고 KV 전용 주입 경로가 시각적으로 정리되어 있어 메서드 구현의 핵심 모듈 간 데이터 흐름과 접합점을 이해하는 데 유용하다. 이 그림은 논문의 방법론 블록과 직접 대응한다.
InnerZoom의 파이프라인 다이어그램으로 비전 토크나이제이션, 타깃지역 추출, 교차층 증거 정제, 증거 기반 디코딩의 흐름이 표시되어 있다.
주요 결과
주요 실험에서 InnerZoom-4B는 다수 벤치마크에서 최상위 성능을 기록했다. 논문은 OSW-GR, OSW-G, SS-V2, SS-Pro, UI-V, MMB-GUI 등 여섯 개 데이터셋에 대해 비교를 제시하며 각 데이터셋에서 이전 최고치보다 유의미한 개선이 관찰되었다. 효율성 비교에서는 동일 4B 환경에서 ZoomIn 계열의 두-패스 방법보다 평균적으로 지연과 TFLOPs를 각각 약 25–32% 감소시키면서 성능을 유지하거나 향상시켰다.
관련 Figure
질적 예시는 밀집된 UI 요소 근처에서 InnerZoom이 보다 정확한 포인트 예측을 산출하여 근접한 방해 요소로부터 클릭을 벗어나도록 한 사례를 보여준다. 이러한 사례는 정량적 개선이 공간적으로 어떤 상황에서 기여하는지를 직관적으로 보이게 하며, 특히 공간적으로 유사한 주변 요소가 많은 장면에서 교차층 증거의 보존·정제가 역할을 한다는 점을 입증한다. 이 그림은 결과 해석과 실패 원인 논의에 직접적으로 기여한다.
Base SFT+RL과 ZoomOnce/InnerZoom의 정성적 비교 예시로 실제 GUI에서 예측 클릭 위치 차이를 보여준다.
버블 플롯은 동일 4B 조건에서 InnerZoom이 Zoom-In보다 지연 및 TFLOPs 측면에서 유리한 위치에 있으면서도 대체로 높은 예측 정확도를 달성함을 시각적으로 제시한다. 각 방법의 상대적 속도와 계산량을 정규화하여 비교했으며 Bubble 크기는 TFLOPs 대비 상대 크기를 나타낸다. 이 그림은 논문의 효율성 주장을 수치적·시각적으로 뒷받침한다.
정밀도와 상대 레이턴시, TFLOPs를 표현한 버블 플롯으로 InnerZoom과 Zoom-In 계열의 정확도-효율성 트레이드오프를 비교하고 있다.
기술 상세
전체 아키텍처는 MLLM 디코더의 중간층 응답을 텍스트-조건 쿼리로 사용하여 디코더 측 시각 토큰에 대한 응답 맵을 만든 뒤 상위 응답 연결 컴포넌트를 바운딩 박스로 변환하는 것에서 출발한다. 이 바운딩 박스로부터 비전 인코더의 언머지 패치 수준 특징 X_R을 회수하여 M= N×U 개의 지역 토큰으로 평탄화하고 슬롯별 key/value 투영을 구성한다. 교차층 증거 워크스페이스는 공유되는 Iterative Dual-Slot Evidence Adapter로 구현되며 삽입 계층 집합 ℒ={ℓ1,ℓ2,…,ℓK}에서 동일한 어댑터 파라미터를 재사용하면서 슬롯 상태를 전파한다.
한계점
InnerZoom의 성능은 중간 디코더 응답이 타깃 지역을 적절히 하이라이트할 수 있는 전제에 의존한다. 내부 응답이 불완전하거나 편향되면 잘못된 지역이 선택되어 이후 증거 정제의 상한을 제한할 가능성이 있다. 초광폭 또는 듀얼 스크린과 같이 극단적 해상도 분포를 가진 샘플에서는 외부 크롭-재관찰이 여전히 보완 역할을 할 수 있음이 논문에서 명시되었다.
실무 활용
InnerZoom은 대화형 GUI 에이전트나 실시간 인터페이스 제어 시스템에서 레이턴시와 계산 리소스를 줄이면서도 포인트 수준의 클릭 정밀도를 향상시킬 수 있다. 단일 포워드 기반으로 설계되어 서버-클라이언트 환경 또는 제한된 추론 예산을 가진 엣지 장치에 유리하다. 논문에는 코드와 모델 공개 계획이 언급되었으나 별도의 저장소 링크는 제공되지 않았다.
- 대화형 GUI 자동화 에이전트에서 사용자 지시를 실시간으로 좌표로 변환하는 경우
- 원격 데스크톱 제어나 자동화 테스트에서 반복적인 크롭-재실행 비용을 줄여 응답성을 개선해야 하는 경우
- 제한된 추론 예산의 서버에서 다수의 GUI 요청을 병렬 처리하면서 정확도를 유지해야 하는 경우
코드 공개 여부: 공개
키워드
용어 해설
- Region-to-Point Gap
- — 중간 디코더 층에서 타깃 영역을 인식하는 신호는 형성되지만 최종 좌표 토큰으로 변환되는 과정에서 소실되거나 변형되어 정확한 클릭 위치로 이어지지 않는 현상이다. 이 논문은 해당 갭이 존재함을 계량적으로 확인하고, 갭을 메우기 위해 중간 증거를 보존·정제·재주입하는 내부 줌 방식으로 접근한다. 갭 해소는 포인트 수준의 정밀도가 필요한 GUI 그라운딩 성능에 직접적인 영향을 미친다.
- Cross-Layer Evidence
- — 디코더의 여러 중간 층에 걸쳐 축적되고 갱신되는 타깃 지역 관련 시각 특징의 압축 표현이다. 이 표현은 슬롯 형태의 워크스페이스에 저장되어 이후 층에서 지속적으로 정제되고 키/값 주입을 통해 좌표 생성에 사용된다. 교차층 증거는 단일 포워드에서 외부 크롭 없이 지역 정보를 보존하는 핵심 수단이다.
- Iterative Evidence Adapter
- — 중간 디코더 레이어에 삽입되어 지역화된 비전 특징을 순차적으로 집계하고 두 개의 슬롯으로 유지·갱신하는 모듈이다. 각 삽입 계기는 슬롯별 쿼리로 지역 토큰의 키/값와 주어진 로그-프라이어를 이용해 후보 증거를 집계하고, 게이팅으로 슬롯을 업데이트한다. 이 어댑터는 교차층 증거를 점진적으로 정제하여 최종 좌표 예측 시 위치 민감 정보를 제공한다.
- KV Injection
- — 정제된 슬롯 증거를 선택된 타깃 영역 위치의 key/value 투영으로만 대체하여 디코더의 쿼리 흐름은 변경하지 않으면서 지역 증거를 좌표 디코딩에 반영하는 기법이다. 이 방식은 토큰 순서와 자동회귀 인터페이스를 보존하면서도 포지션-특이적 시각 정보를 제공한다. KV 주입은 외부 입력 없이 내부 증거 재사용을 가능하게 한다.
- ROI Recall
- — 디코더의 중간 층 응답에서 상위 k개의 고응답 시각 영역이 실제 정답 타깃을 포함하는 비율이다. 논문에서는 이 지표를 통해 중간층이 타깃을 식별하는 능력이 최종 좌표 정확도로 제대로 연결되지 않는 점을 수치화했다. ROI Recall은 내부 지역화 신호의 존재 여부와 그 보존 정도를 평가하는 핵심 척도이다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.