구글 크롬의 새로운 AI 에이전트 'Auto Browse' 실전 테스트 리뷰

섹션별 상세

01

2048 게임 테스트에서 Auto Browse는 물리적 화살표 키를 사용할 수 없으나 화면상의 컨트롤 버튼을 인식하여 게임을 진행했다. 규칙을 이해하고 128 타일을 만드는 데 성공했으나, '움직일 수 없을 때까지'라는 명령을 너무 문자 그대로 해석하여 빈 공간이 있음에도 타일 병합이 불가능해지자 작업을 중단하는 한계를 보였다.

2048 게임을 플레이한 후 128 타일에 도달하고 멈춘 Auto Browse의 실행 화면이다. — Screenshot에이전트가 물리적 키보드 입력 대신 화면상의 화살표 버튼을 클릭하여 게임을 진행했음을 보여준다. '움직임이 없을 때까지'라는 명령을 타일 병합이 불가능한 상태로 좁게 해석하여 게임이 완전히 끝나기 전 멈춘 사례를 입증한다.

02

음악 스트리밍 및 모니터링 작업에서 에이전트는 리소스 비용 문제로 인해 실시간 페이지 감시를 거부하거나 조기에 포기하는 경향이 확인됐다. 특히 유튜브 뮤직의 UI 디자인을 이해하지 못해 버튼을 찾지 못했으나, 스포티파이로 변경하자 즉시 작업을 완료하며 플랫폼별 UI 대응 능력의 차이를 나타냈다.

Auto Browse가 스포티파이에서 생성한 'The Current Recents' 플레이리스트 화면이다. — Screenshot유튜브 뮤직에서는 실패했지만 스포티파이의 UI는 성공적으로 인식하여 곡 목록을 추출하고 저장했음을 확인해준다. 에이전트가 특정 플랫폼의 디자인에 따라 성능 편차를 보인다는 점을 뒷받침한다.

03

Gmail과 Google Sheets를 활용한 데이터 추출 테스트에서는 가장 낮은 성능을 기록했다. Gmail 도구를 사용해 배경에서 데이터를 수집했음에도 불구하고 수십 개의 관련 이메일 중 단 두 개만 찾아냈으며, 스프레드시트 입력 시 기존 데이터를 덮어쓰거나 열 제목과 무관한 위치에 데이터를 입력하는 등 정밀도가 매우 낮았다.

에이전트가 Gmail에서 추출한 데이터를 구글 스프레드시트에 잘못 입력한 결과물이다. — Screenshot이메일 주소 열에 회사명이 입력되거나 날짜가 엉뚱한 열에 배치되는 등 데이터 매핑 오류를 시각적으로 보여준다. 에이전트의 데이터 입력 정밀도가 실무에 쓰기에는 부족함을 증명하는 핵심 증거이다.

04

웹사이트 제작 도구인 Neocities 테스트에서는 마우스 커서를 올려야 나타나는 '호버 메뉴'를 인식하지 못해 무한 루프에 빠지는 현상이 발생했다. 리스트 뷰로 전환한 후에야 편집기에 접근할 수 있었으며, 외부 사이트에서 이미지를 가져오는 과정에서 캐릭터와 무관한 이미지를 선택하는 등 맥락 이해의 부족함이 드러났다.

Auto Browse가 Neocities를 통해 제작한 Tuvix 팬 사이트의 모습이다. — Screenshot에이전트가 배경색 설정과 텍스트 배치는 수행했으나, 본문의 설명과 달리 실제 캐릭터(Tuvix)가 아닌 에피소드 초반의 엉뚱한 인물 이미지를 가져왔음을 보여준다. 이미지 검색 및 맥락 파악의 한계를 나타낸다.

05

텍스트 기반의 복잡한 필터링이 필요한 전력 요금제 선택 작업에서는 10/10점의 완벽한 성능을 보였다. 사용자의 거주 지역과 전력 사용량 조건을 정확히 입력하고 웹사이트의 드롭다운 메뉴와 필터를 조작하여 최적의 요금제 팩트 시트를 찾아내는 데 성공했다.

06

PlayStation 스토어 쇼핑 테스트에서는 할인 품목을 위시리스트에 추가하는 과정을 수행했으나, PS5 전용 게임만 골라내라는 세부 조건을 무시하고 PS4 타이틀까지 포함했다. 또한 보안상의 이유로 모든 추가 동작마다 사용자의 승인을 요구하여 자동화 도구로서의 편의성이 크게 저하됐다.

플레이스테이션 스토어의 세일 페이지를 탐색 중인 Auto Browse의 브라우저 화면이다. — Screenshot에이전트가 복잡한 쇼핑몰 UI에서 필터를 조작하고 개별 상품 페이지를 여는 과정을 보여준다. 다만 PS5 전용 게임만 고르라는 명령을 완벽히 수행하지 못하고 PS4 타이틀까지 포함하는 필터링 미흡 사례를 설명한다.

용어 해설

AI 에이전트(AI Agent): — 사용자의 목표를 이해하고 웹 브라우징, 파일 편집 등 복잡한 작업을 자율적으로 수행하는 인공지능 시스템이다. 단순한 질의응답을 넘어 도구 사용과 의사결정 능력을 갖추어 실질적인 업무 대행을 목표로 한다.
브라우저 자동화(Browser Automation): — 사람이 직접 클릭하거나 입력하지 않고 소프트웨어가 웹 브라우저를 제어하여 특정 작업을 수행하게 하는 기술이다. AI 에이전트는 이를 활용해 웹사이트를 탐색하고 데이터를 수집하거나 폼을 작성한다.
루미네이션(Rumination): — AI 모델이 답변을 내놓기 전 내부적으로 사고 과정을 거치는 단계를 의미한다. 복잡한 논리적 추론이 필요한 작업에서 정확도를 높이기 위해 사용되지만, 처리 시간이 길어지는 특성이 있다.
반달리즘 정책(Vandalism Policy): — 공공 지식 베이스(위키 등)의 내용을 악의적으로 훼손하거나 부적절하게 수정하는 행위를 방지하기 위한 안전 규칙이다. AI 에이전트가 자율적으로 웹을 편집할 때 발생할 수 있는 윤리적·법적 문제를 막는 가드레일 역할을 한다.

기술

Auto Browse
Google Chrome
Gmail API
Google Sheets
YouTube Music
Spotify

활용 사례

웹 게임 자동 플레이
음악 플레이리스트 생성
이메일 데이터 추출 및 정리
웹사이트 필터링 및 정보 요약
간단한 웹 페이지 제작

언급된 리소스

문서Auto Browse Preview