바이트댄스가 공개한 오픈소스 멀티모달 GUI 에이전트 스택
Agent·TypeScript0 / 0
UI-TARS는 시각 언어 모델을 기반으로 컴퓨터와 브라우저를 사람처럼 직접 조작하는 오픈소스 멀티모달 AI 에이전트 프레임워크이다.
주요 기능
- VLM 기반의 화면 인식 및 정밀한 마우스·키보드 제어 수행
- MCP 통합을 통한 외부 도구 및 데이터 소스 확장 지원
- 로컬 및 원격 컴퓨터와 브라우저를 제어하는 오퍼레이터 제공
- 이벤트 스트림 기반의 실시간 실행 상태 모니터링 및 디버깅
- CLI 및 데스크톱 애플리케이션 형태의 즉시 실행 환경 구축
어떻게 동작하는가
VLM이 화면 스크린샷을 분석하여 UI 요소의 좌표를 추출하고, MCP를 통해 정의된 도구들을 호출하여 운영체제나 브라우저에 직접적인 입력을 전달하는 방식으로 작동한다.
33.5k
Stars
3.3k
Forks
+358
Trending
0
조회수
33.5k watchers391 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.