이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
본 영상은 Python, Playwright, Claude를 결합하여 웹사이트의 GPU 가격을 자동으로 수집하고 비교하는 브라우저 에이전트 개발 방법을 다룬다. Claude의 Tool Use 기능을 활용해 비정형 웹 페이지에서 제품명과 가격을 추출하고, 분석 및 검증 에이전트를 통해 최적의 구매 조건을 판단한다. 또한, Dataimpulse 주거용 프록시를 연동하여 웹 사이트의 봇 차단을 우회하고 안정적인 데이터 수집 환경을 구축하는 과정을 상세히 설명한다.
챕터별 상세
GPU 가격 모니터링 에이전트 개요
반복적인 웹 데이터 수집 작업을 자동화하기 위해 브라우저 에이전트를 구축한다. 본 프로젝트는 Newegg와 Best Buy와 같은 쇼핑몰에서 GPU 가격 정보를 실시간으로 수집하고 비교하는 GPU Watcher를 구현한다. Claude를 활용하여 웹 페이지 내 정보를 지능적으로 추출하고, Playwright로 브라우저를 제어한다. 수집 과정에서 발생하는 IP 차단을 해결하기 위해 Dataimpulse 주거용 프록시를 통합하여 실제 사용자처럼 동작하게 한다.
브라우저 자동화 및 데이터 추출 로직
웹 페이지에서 데이터를 추출하기 위해 Playwright의 `fetch_page` 함수를 사용하여 페이지를 로드하고 DOM 상태를 확인한다. 페이지 로드 후 텍스트를 추출하여 Claude에게 전달한다. `EXTRACT_TOOL` 스키마를 정의하여 Claude가 제품명과 가격을 구조화된 JSON 형식으로 반환하도록 설정한다. 이 방식은 HTML 파싱 없이 LLM의 추론 능력을 사용하여 데이터 추출의 유연성을 높인다.
LLM의 Tool Use 기능을 활용하여 비정형 HTML 데이터에서 정형 데이터를 추출하는 기법이다.
분석 및 검증 에이전트 구현
수집된 데이터를 분석하기 위해 `PICK_TOOL`과 `VERIFY_TOOL`을 구현한다. `PICK_TOOL`은 여러 소매업체의 가격을 비교하여 최적의 구매 조건을 판단한다. `VERIFY_TOOL`은 선택된 제품의 URL을 다시 방문하여 현재 가격이 유효한지 최종 확인한다. 여러 에이전트를 체인 형태로 연결하여 데이터 수집, 분석, 검증의 다단계 워크플로우를 완성한다.
python
def fetch_page(page, url):
resp = page.goto(url, timeout=45000, wait_until="domcontentloaded")
if resp.status in (403, 429) or any(title.lower() for t in BLOCK_TITLES):
return "blocked", "http", "challenge page: " + title(), None
page.wait_for_load_state("networkidle", timeout=5000)Playwright를 사용하여 웹 페이지를 로드하고 차단 여부를 확인하는 함수이다.
Dataimpulse 프록시 연동
웹 사이트의 차단을 방지하기 위해 Dataimpulse 주거용 프록시를 코드에 통합한다. `dataimpulse` 함수를 통해 프록시 인증 정보를 설정하고, Playwright의 브라우저 실행 시 프록시를 라우팅한다. 회전형(Rotating) IP를 사용하여 매 요청마다 새로운 IP를 할당받거나, 고정형(Sticky) IP를 사용하여 세션 동안 동일 IP를 유지할 수 있다. 이 설정을 통해 봇 탐지를 우회하고 안정적인 데이터 수집이 가능하다.
python
EXTRACT_TOOL = {
"name": "offers",
"description": "Report every individual product offer visible in the page text.",
"input_schema": {
"type": "object",
"properties": {
"offers": {
"type": "array",
"items": {
"type": "object",
"properties": {
"title": {"type": "string", "description": "Product title from the page, cut to 80 chars"},
"price": {"type": "number"}
},
"required": ["title", "price"]
}
}
},
"required": ["offers"]
}
}Claude가 웹 페이지 텍스트에서 GPU 제품명과 가격을 추출하도록 정의한 도구 스키마이다.
최종 결과 및 대시보드 생성
모든 수집 및 분석 과정이 완료되면 수집된 데이터를 바탕으로 HTML 대시보드를 생성한다. 각 GPU 모델별로 최저가와 최고가, 판매처 정보를 표 형태로 시각화한다. 실행 결과, Newegg와 Best Buy의 가격 정보를 성공적으로 비교하여 최적의 GPU 구매처를 제시한다. 이 시스템은 확장 가능하며, 사람이 직접 수행하던 수동 가격 비교 작업을 AI가 완전히 자동화한다.
용어 해설
- 브라우저 자동화(Browser Automation)
- — 웹 브라우저를 프로그래밍 방식으로 제어하여 사람의 클릭, 입력, 스크롤 등의 동작을 시뮬레이션하고 웹 데이터를 수집하거나 작업을 수행하는 기술이다. Playwright와 같은 도구가 주로 사용된다.
- 주거용 프록시(Residential Proxy)
- — 실제 가정용 인터넷 서비스 제공업체(ISP)가 할당한 IP 주소를 사용하는 프록시이다. 데이터 센터 IP와 달리 실제 사용자처럼 보여 웹 사이트의 차단 정책을 우회하는 데 효과적이다.
- AI 에이전트(AI Agent)
- — LLM을 두뇌로 사용하여 외부 도구(브라우저, API 등)를 활용하고 복잡한 워크플로우를 자율적으로 수행하는 시스템이다. 본 영상에서는 데이터 추출 및 의사결정 역할을 수행한다.
언급된 리소스
DemoDataimpulse
GitHubGitHub Repository
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 26.수집 2026. 08. 26.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
