로컬 Qwen3 모델을 활용한 검증 기반 브라우저 에이전트 구축 사례

실용적 조언

HTML 전체 대신 상호작용 요소만 추출한 시맨틱 스냅샷을 사용하여 토큰을 절약하라.
중요한 동작 실행 전후에 반드시 정책 필터와 상태 검증 로직을 배치하라.

섹션별 상세

로컬 모델의 한계를 극복하기 위해 플래너와 실행기를 분리한 아키텍처를 채택했다. Qwen3:8B가 전체 계획을 수립하고 Qwen3:4B가 구체적인 동작을 수행하는 구조로, 대규모 모델 없이도 복잡한 작업을 분담 처리한다. 이 방식을 통해 소형 모델의 추론 부하를 분산시키고 각 단계의 정확도를 높였다. 결과적으로 7B 이하 모델로도 다단계 워크플로우 수행이 가능해졌다.

HTML 전체나 스크린샷 대신 실행 가능한 요소들의 '컴팩트한 시맨틱 스냅샷'을 입력으로 사용한다. 이는 페이지 내 버튼, 링크, 입력 필드 등 상호작용에 필요한 핵심 정보만 텍스트로 추출하여 모델에 전달하는 방식이다. 불필요한 노이즈를 제거함으로써 토큰 소모를 획기적으로 줄이고 모델이 현재 상태에서 가능한 행동을 더 명확히 인지하게 돕는다.

실행 전 '정책 사이드카(Policy Sidecar)'를 통해 동작을 필터링하고 실행 후에는 결정론적 체크로 상태 변화를 검증한다. 모델이 제안한 액션이 사전에 정의된 안전 정책을 위반하는지 확인한 뒤 실행하며, 실행 후에는 UI나 데이터의 실제 변화를 코드로 확인한다. 이러한 이중 안전장치는 모델의 환각으로 인한 오작동을 시스템 수준에서 원천 차단하는 효과가 있다.

로컬 브라우저 에이전트의 실행 로그와 대상 웹 페이지의 UI를 보여주는 스크린샷이다. — Screenshot왼쪽 화면은 송장 관리 시스템의 UI를 나타내며, 오른쪽 패널은 에이전트가 수행 중인 목표와 현재 단계의 성공 여부, 그리고 실행된 구체적인 액션(CLICK)을 기록하고 있다. 이는 작성자가 주장한 시맨틱 스냅샷 기반의 상태 추적과 결정론적 검증 과정을 시각적으로 증명한다.

실제 송장 처리 워크플로우 실험에서 16단계 동안 12,884개의 토큰을 사용하며 클라우드 API 호출 없이 작업을 완료했다. 비전 기반 에이전트보다 범용성은 낮지만 데이터 유출 우려가 있는 민감한 업무 환경에서는 로컬 모델 기반의 이 방식이 더 높은 신뢰성을 제공한다. 특히 금융 운영과 같이 정형화된 UI에서의 반복 작업에 최적화된 성능을 보였다.

용어 해설

시맨틱 스냅샷(Semantic Snapshot): — 웹 페이지의 복잡한 HTML 구조 전체를 모델에 전달하는 대신, 버튼이나 입력창 등 상호작용이 가능한 요소들만 추출하여 텍스트 형태로 요약한 데이터이다. 소형 모델의 토큰 처리 부담을 줄이고 핵심 정보에 집중하게 하여 동작 정확도를 높이는 역할을 한다.
정책 게이팅(Policy Gating): — AI 모델이 제안한 동작을 실제로 실행하기 전, 미리 정의된 보안 정책이나 비즈니스 규칙에 부합하는지 검사하여 차단하거나 승인하는 단계이다. 모델의 환각으로 인한 잘못된 명령이나 권한 밖의 위험한 작업을 방지하는 안전장치 역할을 한다.
결정론적 검증(Deterministic Check): — AI의 추론에 의존하지 않고 코드나 규칙 기반의 로직을 통해 작업 결과를 확인하는 방식이다. 예를 들어 버튼 클릭 후 실제 URL이 변경되었는지 혹은 데이터베이스 값이 바뀌었는지를 확인하여 에이전트가 목표를 달성했는지 객관적으로 판별한다.
플래너-실행기 패턴(Planner-Executor Pattern): — 복잡한 작업을 해결하기 위해 전체적인 계획을 세우는 모델(Planner)과 각 단계를 실제로 수행하는 모델(Executor)을 분리하는 설계 방식이다. 각 역할에 최적화된 크기의 모델을 배치함으로써 효율성을 높이고 작업의 성공률을 개선한다.

언급된 도구

Qwen3추천

플래너(8B) 및 실행기(4B) 역할을 수행하는 로컬 언어 모델