이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
웹 쇼핑 에이전트가 브라우저 자동화에 의존할 경우 느리고 비싼 비용 문제로 실패하기 쉽다. 차단된 페이지를 LLM에 입력하여 토큰을 낭비하는 문제를 해결하기 위해, Discovery 단계에서는 검색 API를 활용하고 의사결정 단계에서는 브라우저 없이 마크다운을 반환하는 스크래퍼를 도입해야 한다. 결제 등 브라우저가 필수적인 단계에서만 하드닝된 헤드리스 브라우저를 사용하고, LLM에 데이터를 전달하기 전 유효성을 검증하여 토큰 비용을 70% 이상 절감할 수 있다.
챕터별 상세
개인 쇼핑 에이전트의 실패와 원인
지인의 개인 쇼핑 에이전트는 사용자의 스타일을 파악해 상품을 추천하고 구매까지 대행하는 챗봇으로 기획되었다. 각 단계마다 브라우저 자동화 프레임워크를 실행하는 구조를 채택했으나, 이는 속도가 느리고 비용이 많이 들며 불안정하여 실제 작동하지 않았다. 모델 성능의 문제가 아니라 에이전트가 오픈 웹에서 원활하게 작동하도록 돕는 하부 인프라 계층이 부재했기 때문이다.
웹 스크래핑의 핵심 원칙: 비용 최적화
Oxylabs에서 10년간 쌓은 스크래핑 경험을 바탕으로, 에이전트 인프라 설계의 핵심 원칙은 비용 절감이다. 웹 스크래핑 시 브라우저는 반드시 필요한 경우에만 사용해야 한다. HTTP 200 응답이 곧 유효한 콘텐츠를 의미하지 않으며, 많은 웹사이트가 불필요한 자바스크립트와 CSS로 가득 차 있어 토큰 낭비를 유발한다.
검색 API를 통한 Discovery 단계 개선
기존의 고정된 소매업체 목록을 사용하는 방식 대신 검색 API를 도입하여 Discovery 단계를 재설계했다. 이 방식은 호출당 2,000 토큰 미만, 약 700ms의 응답 속도를 보이며, 에이전트가 스스로 쿼리를 확장하고 URL을 선택하게 한다. 브라우저를 거치지 않고 경량화된 JSON 데이터를 반환받아 처리 효율을 극대화했다.
LLM 토큰 낭비 방지 및 전처리
많은 팀이 캡차(CAPTCHA)에 차단된 페이지를 LLM에 입력하여 토큰을 낭비하고 있다. 차단된 페이지의 크기와 HTTP 응답 코드는 정상으로 보일 수 있어 감지가 어렵다. LLM은 캡차를 구분할 수 있지만, 이를 위해 토큰을 지불하는 것은 비효율적이다. 따라서 LLM에 데이터를 전달하기 전에 유효성을 검증하는 과정이 필수적이다.
브라우저 없는 의사결정 단계 구축
의사결정 단계에서 브라우저를 제거하고 마크다운을 반환하는 스크래퍼를 도입했다. 차단 시 LLM에 캡차를 전달하는 대신 명시적인 에러를 발생시켜 실패를 알리고, 수백 개의 요청을 병렬로 처리하며 성공한 결과에 대해서만 비용을 청구한다. 이를 통해 토큰 낭비를 줄이고 에이전트의 신뢰성을 높였다.
결제 단계에서의 브라우저 활용
결제 단계는 브라우저 자동화가 필수적이므로 Playwright MCP를 유지하되, 하드닝된 헤드리스 브라우저를 교체 투입했다. 이는 스텔스 기능, 주거용 프록시, 지리적 위치(Geolocation) 기능을 제공하여 재고 표시 오류를 방지한다. 검증되지 않은 데이터를 LLM에 공급하지 않도록 전처리하는 것이 토큰 비용 절감의 핵심이다.
용어 해설
- 에이전트 AI(Agentic AI)
- — LLM을 두뇌로 사용하여 도구를 사용하고 계획을 세워 자율적으로 작업을 수행하는 AI 시스템. 본문에서는 웹 쇼핑 에이전트 사례를 통해 웹 검색, 정보 추출, 결제 등의 작업을 수행하는 에이전트의 인프라 문제를 다룬다.
- 웹 스크래핑(Web Scraping)
- — 웹 페이지에서 데이터를 자동으로 추출하는 기술. 본문에서는 에이전트가 웹 정보를 가져올 때 브라우저 자동화 대신 API나 경량화된 스크래퍼를 사용하여 비용과 성능을 최적화하는 방식을 설명한다.
- 토큰 비용(Token Cost)
- — LLM API 사용 시 입력 및 출력 토큰 수에 따라 지불하는 비용. 본문에서는 잘못된 웹 페이지(캡차 등)를 LLM에 입력하여 토큰을 낭비하는 문제를 지적하며, 이를 방지하기 위한 전처리 중요성을 강조한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 26.수집 2026. 08. 26.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
