PageGuide: 사용자의 웹페이지 탐색 및 정보 위치 파악을 돕는 브라우저 확장 프로그램

기존 AI 에이전트는 웹페이지에서 정보를 찾아 답변을 주지만, 그 정보가 페이지 어디에 있는지 사용자가 직접 확인하기 어렵다는 한계가 있다. PageGuide는 답변의 근거를 HTML 요소에 직접 시각적으로 연결하여 사용자가 AI의 답변을 즉시 검증하고 복잡한 작업을 단계별로 수행할 수 있도록 돕는다.

기존의 웹 에이전트는 Transformer 기반의 추론을 통해 답변을 생성하지만, 그 결과물은 브라우저 사이드바의 텍스트로만 존재하여 실제 웹페이지의 HTML 구조와 분리되어 있다. 이는 사용자가 AI의 답변을 믿고 따르기 위해 페이지를 다시 수동으로 훑어야 하는 '검증의 병목' 현상을 야기한다.

PageGuide는 이 문제를 해결하기 위해 웹페이지의 모든 가시적 요소를 고유한 정수 인덱스로 변환하는 Set-of-Marks(SoM) 기법을 활용한다. LLM이 답변을 생성할 때 단순히 텍스트만 내뱉는 것이 아니라, 답변의 근거가 되는 HTML 요소의 인덱스를 함께 출력하도록 유도하여 텍스트 임베딩과 실제 DOM 요소를 논리적으로 결합한다.

결과적으로 AI의 지식은 페이지 위에 떠 있는 추상적인 정보가 아니라, 특정 버튼이나 문단이라는 물리적 위치에 고정된다. 사용자는 AI가 가리키는 곳을 즉시 눈으로 확인하며 상호작용할 수 있어, AI에 대한 신뢰도를 높이고 복잡한 멀티스텝 작업에서의 오류를 획기적으로 줄인다.

시스템은 Router, Handler, Final State 생성이라는 3단계 파이프라인으로 구성된다. 먼저 Router는 사용자의 자연어 쿼리를 입력받아 Find, Guide, Hide 중 적절한 모드로 분류한다. 이때 페이지 제목과 콘텐츠 타입을 포함한 컴팩트한 페이지 컨텍스트 C를 입력으로 사용하여 분류 정확도를 높인다.

분류된 쿼리는 각 핸들러로 전달되며, 핸들러는 HTML DOM을 LLM이 이해할 수 있는 구조화된 요소 인덱스 D로 변환하여 읽는다. D = {(id, text, tag, bbox)} 형태의 리스트를 입력으로 받아 LLM은 특정 요소의 ID를 참조하는 답변을 생성한다. [HTML 요소 리스트 입력 → LLM 추론 → 요소 ID가 포함된 JSON/텍스트 출력 → 해당 ID의 좌표값(bbox)을 기반으로 시각적 레이어 생성]

Find 모드는 단일 패스로 작동하여 인라인 인용을 렌더링하고, Guide 모드는 사용자의 피드백 루프를 포함하는 반복적(Iterative) 방식으로 설계되었다. 각 단계마다 사용자가 'Next'를 클릭하면 새로운 페이지 상태를 다시 읽어 다음 행동을 제안하는 구조다.

94명의 사용자를 대상으로 한 실험 결과, PageGuide는 모든 지표에서 기존 브라우징 도구보다 우수한 성능을 보였다. 특히 Hide 모드에서는 정확도가 26%p 향상되었으며 작업 완료 시간은 70% 감소하는 압도적인 효율성을 입증했다.

Guide 모드에서는 작업 성공률이 기존 23%에서 53%로 30%p 상승했다. 이는 복잡한 절차적 작업에서 시각적 가이드가 사용자의 이탈을 막고 정확한 경로로 안내하는 데 결정적인 역할을 함을 보여준다. Find 모드 역시 수동 검색(Ctrl+F) 사용 빈도를 80% 줄이면서도 정보 탐색 시간을 19% 단축시켰다.

PageGuide는 Manifest v3 표준을 따르는 크롬 확장 프로그램으로 구현되었다. 핵심은 LLM이 HTML DOM을 직접 참조할 수 있도록 하는 'Grounding' 기술이다. 이를 위해 가시적인 모든 노드에 고유 인덱스를 부여하고, LLM이 답변 내에 [N:"text"] 형태의 태그를 삽입하도록 프롬프팅한다.

아키텍처 측면에서 Gemini-3-Flash 모델을 기본 백본으로 사용하며, OpenRouter API를 통해 다양한 모델로의 교체가 용이하도록 설계되었다. 특히 Guide 모드에서는 상태 변화를 감지하기 위해 각 액션 수행 후 DOM을 재스캔하는 피드백 루프를 구현하여 에러 복구(Error Recovery) 능력을 갖췄다.

기존의 완전 자율형 에이전트(Autonomous Agent)들이 겪는 '불투명한 의사결정' 문제를 해결하기 위해, 모든 제안된 액션에 대해 1문장 분량의 이유(Justification)를 생성하여 사용자에게 검토받는 Mixed-Initiative 인터페이스를 기술적 차별점으로 내세운다.

현재 시스템은 단일 모드 디스패치에 국한되어 있어 '설정 페이지를 찾아서 비밀번호를 변경해줘'와 같은 복합 쿼리(Find + Guide)를 한 번에 처리하지 못한다. 또한 여러 페이지에 걸친 정보의 하이라이트 지속성이 부족하며, 콘텐츠 숨기기 설정이 세션 간에 저장되지 않는 메모리 한계가 존재한다.