구글 크롬의 새로운 AI 에이전트 'Auto Browse' 실전 테스트 리뷰

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

구글이 크롬 브라우저에 통합된 새로운 AI 에이전트 'Auto Browse'를 AI Pro 및 Ultra 구독자에게 공개했다. 이 에이전트는 웹을 직접 탐색하며 사용자의 복잡한 요청을 수행하도록 설계되었으나, 실전 테스트 결과 아직은 완전한 자율성을 갖추지 못한 것으로 나타났다. 간단한 필터링 작업에서는 우수한 성능을 보였지만, 구글 자체 서비스인 Gmail이나 Sheets와의 연동에서 데이터 오류를 일으키거나 복잡한 UI 요소인 호버 메뉴를 처리하지 못하는 한계가 확인됐다. 현재 단계에서는 사용자의 지속적인 감시와 재지시가 필요한 '베이비시팅' 수준의 도구로 평가된다.

배경

AI 에이전트 및 LLM의 기본 개념, 구글 크롬 브라우저 및 AI Pro/Ultra 구독 환경, 웹 UI 구성 요소(버튼, 메뉴, 필터)에 대한 이해

대상 독자

AI 에이전트의 실무 적용 가능성을 검토하는 개발자 및 구글 AI 유료 구독자

의미 / 영향

AI 에이전트가 브라우저에 통합되면서 웹 탐색의 패러다임이 변하고 있지만, UI 인식의 불완전성과 리소스 제한으로 인한 모니터링 한계는 여전한 과제이다. 특히 자사 생태계 내에서의 낮은 정밀도는 도구 사용(Tool-use) 로직의 고도화가 시급함을 시사한다.

섹션별 상세

2048 게임 테스트에서 Auto Browse는 물리적 화살표 키를 사용할 수 없으나 화면상의 컨트롤 버튼을 인식하여 게임을 진행했다. 규칙을 이해하고 128 타일을 만드는 데 성공했으나, '움직일 수 없을 때까지'라는 명령을 너무 문자 그대로 해석하여 빈 공간이 있음에도 타일 병합이 불가능해지자 작업을 중단하는 한계를 보였다.

2048 게임을 플레이한 후 128 타일에 도달하고 멈춘 Auto Browse의 실행 화면이다. — Screenshot에이전트가 물리적 키보드 입력 대신 화면상의 화살표 버튼을 클릭하여 게임을 진행했음을 보여준다. '움직임이 없을 때까지'라는 명령을 타일 병합이 불가능한 상태로 좁게 해석하여 게임이 완전히 끝나기 전 멈춘 사례를 입증한다.

음악 스트리밍 및 모니터링 작업에서 에이전트는 리소스 비용 문제로 인해 실시간 페이지 감시를 거부하거나 조기에 포기하는 경향이 확인됐다. 특히 유튜브 뮤직의 UI 디자인을 이해하지 못해 버튼을 찾지 못했으나, 스포티파이로 변경하자 즉시 작업을 완료하며 플랫폼별 UI 대응 능력의 차이를 나타냈다.

Auto Browse가 스포티파이에서 생성한 'The Current Recents' 플레이리스트 화면이다. — Screenshot유튜브 뮤직에서는 실패했지만 스포티파이의 UI는 성공적으로 인식하여 곡 목록을 추출하고 저장했음을 확인해준다. 에이전트가 특정 플랫폼의 디자인에 따라 성능 편차를 보인다는 점을 뒷받침한다.

Gmail과 Google Sheets를 활용한 데이터 추출 테스트에서는 가장 낮은 성능을 기록했다. Gmail 도구를 사용해 배경에서 데이터를 수집했음에도 불구하고 수십 개의 관련 이메일 중 단 두 개만 찾아냈으며, 스프레드시트 입력 시 기존 데이터를 덮어쓰거나 열 제목과 무관한 위치에 데이터를 입력하는 등 정밀도가 매우 낮았다.

에이전트가 Gmail에서 추출한 데이터를 구글 스프레드시트에 잘못 입력한 결과물이다. — Screenshot이메일 주소 열에 회사명이 입력되거나 날짜가 엉뚱한 열에 배치되는 등 데이터 매핑 오류를 시각적으로 보여준다. 에이전트의 데이터 입력 정밀도가 실무에 쓰기에는 부족함을 증명하는 핵심 증거이다.

웹사이트 제작 도구인 Neocities 테스트에서는 마우스 커서를 올려야 나타나는 '호버 메뉴'를 인식하지 못해 무한 루프에 빠지는 현상이 발생했다. 리스트 뷰로 전환한 후에야 편집기에 접근할 수 있었으며, 외부 사이트에서 이미지를 가져오는 과정에서 캐릭터와 무관한 이미지를 선택하는 등 맥락 이해의 부족함이 드러났다.

Auto Browse가 Neocities를 통해 제작한 Tuvix 팬 사이트의 모습이다. — Screenshot에이전트가 배경색 설정과 텍스트 배치는 수행했으나, 본문의 설명과 달리 실제 캐릭터(Tuvix)가 아닌 에피소드 초반의 엉뚱한 인물 이미지를 가져왔음을 보여준다. 이미지 검색 및 맥락 파악의 한계를 나타낸다.

텍스트 기반의 복잡한 필터링이 필요한 전력 요금제 선택 작업에서는 10/10점의 완벽한 성능을 보였다. 사용자의 거주 지역과 전력 사용량 조건을 정확히 입력하고 웹사이트의 드롭다운 메뉴와 필터를 조작하여 최적의 요금제 팩트 시트를 찾아내는 데 성공했다.

PlayStation 스토어 쇼핑 테스트에서는 할인 품목을 위시리스트에 추가하는 과정을 수행했으나, PS5 전용 게임만 골라내라는 세부 조건을 무시하고 PS4 타이틀까지 포함했다. 또한 보안상의 이유로 모든 추가 동작마다 사용자의 승인을 요구하여 자동화 도구로서의 편의성이 크게 저하됐다.

플레이스테이션 스토어의 세일 페이지를 탐색 중인 Auto Browse의 브라우저 화면이다. — Screenshot에이전트가 복잡한 쇼핑몰 UI에서 필터를 조작하고 개별 상품 페이지를 여는 과정을 보여준다. 다만 PS5 전용 게임만 고르라는 명령을 완벽히 수행하지 못하고 PS4 타이틀까지 포함하는 필터링 미흡 사례를 설명한다.

실무 Takeaway

현재의 브라우저 AI 에이전트는 완전한 자율 주행보다는 사용자가 곁에서 오류를 수정하고 재촉해야 하는 '감시형 자동화' 단계에 머물러 있다.
호버 메뉴나 복잡한 레이어 구조를 가진 웹사이트 UI는 AI 에이전트가 탐색 과정에서 실패하기 쉬운 주요 기술적 병목 구간이다.
구글 자체 서비스(Gmail, Sheets)와의 연동에서도 데이터 누락과 입력 오류가 빈번하므로, 중요한 데이터 처리 작업에 에이전트를 단독으로 투입하는 것은 위험하다.

언급된 리소스

문서Auto Browse Preview