UI-Venus-2, 모바일·웹·데스크톱 GUI를 하나로 학습

왜 중요한가

기존 GUI 에이전트는 제한된 앱과 단순한 과업에 맞춰져 있어 실제 환경의 언어·화면·상태 변화에 취약하고, 최종 화면만 보는 검증기는 부분 진행과 진짜 완료를 구분하기 어려웠습니다. UI-Venus-2는 170개 이상의 다국어 모바일 앱, 웹, 데스크톱 환경을 하나의 폐쇄 루프 정책으로 연결하고, 궤적·단계 수준 검증으로 강화학습 신호를 세분화했습니다. 그 결과 WebVoyager에서 27B 모델이 93.4%, DeskCraft에서 55.5%를 기록했으며, OSHarm의 공격 성공률은 11.3%까지 낮아졌습니다.

핵심 기여

다국어 모바일 환경과 기능 기반 과업 생성

100개 이상의 중국어 앱과 70개 이상의 영어 앱을 포함하는 모바일 환경을 구축하고, 공식 문서·도움말·사용자 토론·일반 작업 흐름을 Deep Research로 수집해 기능 카탈로그를 만들었습니다. 카탈로그의 사전조건과 실행 가능성을 확인한 뒤 단일 기능·복합·배치·시나리오 과업을 생성하고, 실제 실행 결과를 다시 카탈로그에 반영했습니다.

모바일·웹·데스크톱을 통합한 컴퓨터 사용

기존 모바일·웹 중심 범위를 데스크톱 운영체제로 확장하고, 컴퓨터 사용 데이터와 과업별 학습을 처음부터 구성했습니다. 화면 관찰, 장기 계획, 파일·창·키보드 조작을 동일한 엔드투엔드 에이전트 안에서 처리해 세 환경의 상호작용을 통합했습니다.

궤적·샘플 수준의 다중 검증

최종 화면의 단순 성공 여부 대신 과업 관련 시각적 핵심 단서와 개별 행동을 각각 평가했습니다. 여러 이기종 모델의 판정을 투표로 결합하고, 완료·부분·실행 불가·실패 상태를 구분해 단일 판정자 편향과 보상 해킹 가능성을 줄였습니다.

오픈소스 GUI 에이전트 공개

UI-Venus-2의 전체 파라미터 가중치와 평가 인프라를 공개했습니다. 비교 가능한 모델 규모에서 여러 GUI 벤치마크의 높은 성능을 확보해 GUI 에이전트 연구와 강화학습·검증 실험의 재현성을 높이는 기반을 마련했습니다.

핵심 아이디어 이해하기

GUI 에이전트는 화면을 읽고 다음 클릭이나 입력을 선택하는 모델이지만, 실제 과업에서는 한 번의 정답 행동보다 현재 상태를 기억하고 이전 결과에 맞춰 다음 행동을 바꾸는 능력이 중요합니다. UI-Venus-2는 자연어 지시와 렌더링된 화면을 입력으로 받아 의도를 해석하고 행동을 실행한 뒤, 환경 피드백을 다시 입력으로 사용하는 폐쇄 루프 추론–행동 구조를 채택했습니다. 이 방식은 앱·웹·운영체제마다 API를 따로 만드는 대신 사람이 보는 인터페이스와 행동 공간을 공통 기반으로 사용합니다.

기존 강화학습 GUI 데이터의 문제는 보상이 최종 화면의 성공·실패에만 의존한다는 점입니다. 예를 들어 올바른 그룹에 들어가 제목과 본문까지 입력했지만 게시 확인 전에 단계 예산이 끝나면, 전체 실패 라벨은 상당한 진전을 0점으로 취급합니다. UI-Venus-2의 궤적 수준 검증은 과업을 핵심 시각 단서로 분해하고 화면 구간별 증거를 누적해 이런 궤적을 부분 완료로 구분합니다.

행동 하나도 추론 문장 전체와 같은 비중으로 학습시키면 문제가 생깁니다. 실제 환경을 바꾸는 것은 짧은 구조화된 행동 구간이며, 행동 유형이 틀리면 그 뒤 매개변수의 의미도 사라집니다. 그래서 다중 교사 증류는 완전한 행동이 맞을 때 신호를 줄이고, 유형은 맞지만 좌표나 매개변수가 틀릴 때 해당 구간을 강화하며, 유형 자체가 틀릴 때는 유형 토큰에 집중합니다. 화면 이해, 공간 위치 지정, CAPTCHA 해결, 장기 탐색이 서로 보완되도록 학습해 하나의 정책으로 통합하는 방식입니다.

방법론

UI-Venus-2는 Qwen3.5-9B와 Qwen3.6-27B에서 초기화하고, Grounding·CAPTCHA·Mobile·Web·Computer 과업을 하나의 혼합 학습 체계로 구성했습니다. 추론 시 일반 에이전트 과업은 think 모드와 전체 추론 이력을 유지하며, GUI grounding은 추론을 끄고 temperature 0으로 직접 위치를 찾습니다. 학습은 대규모 궤적 기반 multimodal mid-training, 도메인별 step-level Offline-RL, 다중 교사 on-policy distillation의 3단계로 진행됩니다.

첫 단계에서는 모바일 앱, 웹페이지, 운영체제 화면에서 실행 가능한 궤적을 수집하고, 큐레이션된 query seed와 환경 기능에 기반한 질의를 결합해 언어 다양성과 과업 범위를 확보했습니다. 사람의 검사와 자동 궤적 평가를 결합해 무효·모호·저품질 상호작용을 걸러냈습니다. 두 번째 단계에서는 Mobile·OS·Web에 개별 행동 단계별 보상을 부여해 상태 인식 행동 선택, 다단계 이동, 전이 일관성, 실행 안정성을 학습했습니다. Grounding과 CAPTCHA는 프로그램으로 합성한 정답 좌표와 유효 행동을 사용해 밀도 높은 감독을 공급했습니다.

세 번째 단계의 MOPD는 도메인별 교사가 학생이 직접 생성한 궤적을 평가해 전문 능력을 하나의 정책으로 통합합니다. 교사는 올바른 행동 유형에 대한 힌트를 입력받지만 학생 입력에는 힌트가 포함되지 않으며 추론 시에도 사용할 수 없습니다. 행동 유형이 맞고 매개변수만 틀린 경우 행동 구간을 더 강하게 감독하고, 행동 유형이 틀린 경우 하위 매개변수 감독을 가려 구조적 오류에 맞는 학습 신호를 전달합니다.

데이터 생성은 기능 카탈로그 구축, 실행 가능한 과업 구성, 실제 환경 궤적 수집의 폐쇄 루프입니다. 카탈로그에는 함수 시그니처, 필요한 객체와 사전조건, 호환 기능, 과업 범위가 저장되고, 실행 중 관찰한 화면 상태·제어 제약·실패 원인이 다음 과업 샘플링에 반영됩니다. 웹은 4,000개 이상의 도메인과 45,000개 과업으로 구성했으며, 실제 Chrome과 15-action Playwright 인터페이스를 사용했습니다. 데스크톱 과업은 TaskSpec, 초기 상태 검사, 환경 fingerprint, 장기 과업의 계층적 분할을 사용했습니다.

합성 Grounding은 HTML/CSS/JS 화면에서 DOM 의미와 접근성 속성으로 후보 대상을 찾고, 가시성·화면 잘림·스크롤 포함·가림·픽셀 렌더링을 확인하는 9개 hit test를 통과한 좌표를 라벨로 저장합니다. 합성 CAPTCHA는 70개 유형별 규칙 엔진으로 잠재 상태, 정답, 대상 위치, 유효 행동, 풀이 궤적을 결정한 뒤 모바일 패널이나 웹페이지에 렌더링합니다. 검증은 전체 궤적을 평가하는 SGV와 실행 전 개별 행동을 판정하는 sample-level 검증으로 나뉘며, 여러 모델의 판정과 규칙을 결합해 보상 신호를 세분화합니다.

주요 결과

모바일 사용에서 UI-Venus-2-27B는 MobileGym 60.5%, VenusBench-Mobile 48.7%, AndroidWorld 84.0%, MobileWorld 50단계 76.1%, KnowUBench 59.7%, MemGUI 70.3%를 기록했습니다. MobileGym에서는 강한 baseline인 Seed-2.0-Pro의 52.0%보다 8.5%포인트 높았고, VenusBench-Mobile에서는 Claude-Opus-4.6의 36.5%보다 12.2%포인트 높았습니다. MobileWorld의 100단계 설정에서는 82.9%로 상승해 장기·다중 앱 과업에서 행동 예산의 영향을 확인했습니다.

컴퓨터 사용에서 27B 모델은 OSWorld-Verified 80.5%, DeskCraft 55.5%를 얻었습니다. DeskCraft에서는 Kimi-K2.6의 41.4%보다 14.1%포인트 높았지만, OSWorld 2.0의 공식 150단계 설정에서는 Binary Accuracy 2.8%, Partial Score 13.2%로 GPT-5.5의 Binary Accuracy 13.0%와 Claude-Opus-4.7의 Partial Score 20.3%에 미치지 못했습니다. 이는 일반적인 데스크톱 과업 성능과 수백 행동이 필요한 장기 워크플로 성능 사이에 차이가 있음을 나타냅니다.

웹 탐색에서는 27B 모델이 WebVoyager 93.4%, Online-Mind2Web 78.3%, REAL 80.2%, Odysseys 평균 rubric 80.4%와 Perfect rubric 66.3%를 기록했습니다. WebVoyager에서 Fara1.5-27B보다 4.1%포인트, REAL에서 기존 최고점보다 5.8%포인트 높았으며, Odysseys Perfect 점수는 가장 강한 baseline보다 21.8%포인트 높았습니다. GUI grounding에서도 VenusBench-GD 80.1%, ScreenSpot-Pro 74.1%, OSWorld-G-R 79.1%, UI-Vision 66.9%를 기록했습니다.

CAPTCHA에서는 VenusBench-CAPTCHA Pass@1이 9B 78.1%, 27B 79.9%로 Qwen3.6-27B의 53.0%를 크게 앞섰고, NextGen-CAPTCHAs에서는 각각 47.6%와 54.5%로 Seed-2.0-Pro의 20.4%보다 높았습니다. 다만 Spatial-CAPTCHA-Bench의 최고 점수는 48.6%로 50% 미만이었고, Open CaptchaWorld에서는 27B가 56.3%로 Seed-2.0-Pro의 55.6%와 근접했습니다. 안전성 측면에서는 OSHarm ASR이 9B 11.3%, 27B 15.3%, OSBlind ASR이 각각 48.8%와 47.9%로 측정됐습니다.

기술 상세

모델은 현재 렌더링된 화면 이미지와 자연어 지시를 받아 추론 이력 뒤에 구조화된 GUI 행동을 생성합니다. 행동만 환경에 노출되어 다음 상태를 바꾸므로, 학습은 긴 추론 문장보다 짧은 실행 구간의 오류를 더 직접적으로 교정하도록 설계됐습니다. 초기 모델은 Qwen3.5-9B와 Qwen3.6-27B이며, Mobile·Web·Computer의 내비게이션 경험과 Grounding·CAPTCHA의 공간·검증 능력을 혼합합니다.

MOPD에서 도메인별 frozen teacher는 학생이 생성한 응답의 각 토큰에 대해 teacher와 student의 로그 확률 차이를 증류 이득으로 계산합니다. 여기서 student 정책은 πθ, 도메인 d의 교사는 Td, yt는 t번째 학생 토큰, y<t는 앞선 토큰, x는 원래 GUI 입력, z*는 정답 행동 유형입니다. 교사 입력에는 정답 유형 힌트가 붙지만 학생 입력에는 붙지 않으며, advantage 계산에는 gradient stop을 적용합니다. 이 구조로 교사는 학생의 실행 결과를 평가하면서 행동 유형과 매개변수의 오류를 구분합니다.

행동 유형이 Click으로 맞고 좌표만 틀리면 Click의 매개변수 구간에 감독을 집중합니다. 반대로 Scroll을 잘못 예측했다면 그 Scroll 매개변수는 예측된 유형에 종속돼 의미가 없으므로 유형 토큰을 중심으로 감독하고 하위 매개변수는 가립니다. 완전한 행동이 맞으면 교정할 필요가 없어 행동 증류 신호를 억제합니다. 이 방식은 응답 토큰 수가 많은 추론 부분이 실행에 직접 영향을 주는 행동 부분의 감독을 희석하는 문제를 줄입니다.

웹 데이터는 Tranco ranking과 브라우저 에이전트 benchmark에서 웹사이트를 모은 뒤 접근성 검사와 Kimi 2.6 점수로 동적성·상호작용성·콘텐츠 풍부성·시각 품질을 평가해 19개 범주의 4,000개 이상 도메인을 구성했습니다. 실행은 실제 Chrome 세션과 15-action Playwright 인터페이스를 사용하며, 중복 대기·반대 방향 스크롤·순환 행동을 제거하고 복구 가능한 오류는 성공 궤적에 남깁니다. 데스크톱은 TaskSpec에 스냅샷, 설정 작업, 필요한 파일·서비스, 출처, 결과 평가기를 묶고 장기 과업을 독립적인 하위 목표로 분할합니다.

SGV는 과업 목표에서 검증 가능한 완료 핵심 단서를 추출하고, 전체 궤적을 고정 크기 창으로 나눠 클릭 위치를 화면에 표시한 뒤 창별 판정을 병렬 수행합니다. 명확한 증거에는 규칙을 적용하고, 모호한 경우 종료 신호·행동 통계·창별 설명·최종 화면을 multimodal 최종 판정에 결합합니다. 개별 단계 검증은 실행 전 화면, 행동 유형과 대상, 추론, 목표만 사용해 정답·탐색적·비효과적·오류를 판정하며, 특정 과업 행동이 한 번도 없으면 일반적인 앱 실행이나 스크롤만으로 부분 점수를 주지 않습니다.

합성 Grounding의 9개 hit test는 후보 좌표가 실제로 보이고, viewport 안에 있으며, 스크롤·가림·렌더링 픽셀 조건을 만족하는지 확인합니다. CAPTCHA 생성기는 70개 유형의 잠재 상태에서 정답 기하와 유효 행동을 결정하므로 정답을 프로그램으로 검증할 수 있고, 렌더러가 퍼즐을 모바일·웹 배경에 합성합니다. 구현·평가 인프라는 https://github.com/inclusionAI/UI-Venus 링크로 공개됐습니다.

실무 활용

UI-Venus-2는 화면 이미지를 읽고 구조화된 클릭·입력·스크롤·데스크톱 조작을 반복하는 범용 GUI 에이전트 기반으로 활용할 수 있습니다. 모바일 앱 자동화, 실시간 웹 탐색, 데스크톱 업무 흐름, CAPTCHA와 세밀한 UI 위치 지정처럼 API가 없거나 불완전한 환경에 적합하며, 공개 가중치와 평가 인프라로 실험 재현이 가능합니다.

다국어 모바일 앱에서 검색·입력·설정 변경을 포함하는 장기 과업 자동화
여러 웹사이트를 오가는 정보 검색과 상태 변경 워크플로 실행
파일·창·키보드 조작이 필요한 데스크톱 업무 과업 자동화
화면 요소 위치 지정, ordered clicking, 텍스트 입력, 드래그를 포함하는 CAPTCHA 처리
궤적·행동 수준 검증기를 결합한 GUI 에이전트 강화학습 데이터 구축

코드 공개 여부: 공개

코드 저장소 보기

키워드

UI-Venus-2(GUI 에이전트)Multimodal GUI Agent(멀티모달 GUI 에이전트)Closed-loop Reasoning–Action Framework(폐쇄 루프 추론–행동 프레임워크)Multi-teacher On-policy Distillation(다중 교사 온폴리시 증류)Semantic Guided Verification(의미 기반 안내 검증)Visual Keypoints(시각적 핵심 단서)Offline Reinforcement Learning(오프라인 강화학습)CAPTCHA Solving(CAPTCHA 해결)GUI Grounding(GUI 위치 지정)OSBlind(안전성 벤치마크)

용어 해설

폐쇄 루프 추론–행동 프레임워크(Closed-loop Reasoning–Action Framework): — GUI 에이전트가 현재 화면을 입력으로 받아 과업 상태를 추론하고, 클릭·입력·스크롤 같은 행동을 실행한 뒤, 바뀐 환경을 다시 관찰해 다음 행동을 정하는 구조입니다. 단일 행동 예측이 아니라 관찰→추론→실행→피드백 순환으로 장기 과업과 오류 복구를 처리하는 핵심 방식입니다.
궤적 수준 검증(Trace-level Verification): — 전체 상호작용 궤적이 과업 목표를 의미적으로 달성했는지 평가하는 방법입니다. 최종 화면만 이진 판정하지 않고 과업에서 추출한 핵심 시각 단서와 행동 구간을 함께 확인해 완료·부분 완료·실행 불가·실패로 분류하며, 데이터 선별과 강화학습 보상 품질 개선에 활용됩니다.
샘플 수준 검증(Sample-level Verification): — 각 상호작용 단계가 실행되기 전에 현재 화면, 행동 유형과 대상, 추론 내용, 과업 목표를 바탕으로 행동의 적합성을 판정하는 방식입니다. 행동을 정답·탐색적·비효과적·오류로 나눠 단계별 감독과 실시간 개입을 가능하게 하며, 외부 요인으로 인한 후속 화면 변화와 행동 품질을 분리합니다.
다중 교사 온폴리시 증류(Multi-teacher On-policy Distillation): — 여러 도메인별 교사가 학생 모델이 직접 생성한 궤적을 평가하고, 그 점수를 이용해 학생 정책을 하나로 통합하는 학습 방식입니다. UI-Venus-2에서는 추론 토큰과 행동 토큰을 똑같이 감독하지 않고, 행동 유형과 매개변수의 오류 위치에 따라 증류 신호를 조절합니다.
시각적 핵심 단서(Visual Keypoints): — 과업 완료 여부를 판단하는 데 필요한 화면상의 구체적인 상태나 요소입니다. 예를 들어 게시 과업에서는 올바른 그룹 진입, 제목·본문 입력, 게시 완료 확인이 각각 핵심 단서가 되며, 검증기는 궤적의 각 구간에서 이 단서가 충족됐는지 누적해 부분 진행과 실패를 구분합니다.

UI-Venus-2, 모바일·웹·데스크톱 GUI를 하나로 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Tencent의 GUI 에이전트 UI-Mate-27B

MobileWorld, 모바일 에이전트 평가의 새 기준

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

Tencent의 GUI 에이전트 UI-Mate-27B

MobileWorld, 모바일 에이전트 평가의 새 기준