크롬 확장 프로그램 WebWright: 4단계 비전 에스컬레이션과 로컬 우선 설계를 갖춘 AI 에이전트

섹션별 상세

WebWright는 단순 LLM 사이드바를 넘어 웹 페이지를 직접 조작하는 에이전트 기능을 구현했다. 4단계 비전 에스컬레이션 전략을 사용하여 DOM 분석부터 스크린샷 기반 Set-of-Marks, 마지막으로 Chrome DevTools Protocol을 통한 직접 클릭까지 단계별로 정밀도를 높인다.

WebWright의 에이전트 인터페이스와 작업 수행 과정을 보여주는 스크린샷. — Screenshot에이전트가 사용자의 명령을 받아 유튜브를 검색하고 라이브 스트림을 여는 과정을 단계별로 추론하고 실행하는 모습을 보여준다. 이는 텍스트 기반의 LLM 사이드바와 달리 실제 브라우저 조작이 가능함을 시각적으로 증명한다.

안티 루프 휴리스틱을 통해 반복적인 동작이나 페이지 상태 변화 없는 단계들을 감지하고 전략을 전환한다. 이 메커니즘은 에이전트가 특정 요소에 갇히거나 무한 루프에 빠지는 것을 방지한다.

로컬 우선 설계를 위해 모든 데이터는 chrome.storage.local에 저장되며 서버를 거치지 않는다. 개인 정보는 키워드 기반 볼트(Vault)를 통해 특정 작업 시에만 사용되어 프라이버시를 보장한다.

크롬 확장 프로그램 WebWright: 4단계 비전 에스컬레이션과 로컬 우선 설계를 갖춘 AI 에이전트

섹션별 상세

관련 토론

댓글

관련 기사

LHIC(로컬 휴먼 인텐트 컨트롤러): Fast Path/Slow Path 하이브리드 브라우저 에이전트

Claude와 Playwright로 웹 차단을 우회하는 AI 브라우저 에이전트 구축하기.

에이전트 작업 세션 기록

AI 에이전트 워크플로우와 MCP 활용 가이드