웹사이트 구조가 바뀌어도 끄떡없는 AI 시대의 차세대 스크래핑 도구
AI Tool·Python0 / 0
사이트 변경을 스스로 학습하여 요소를 찾는 적응형 파서와 강력한 안티봇 우회 기능을 갖춘 Python 스크래핑 프레임워크입니다.
주요 기능
- 웹사이트 구조 변경 시 요소를 자동으로 재탐색하는 적응형(Adaptive) 파싱 지원
- Cloudflare Turnstile 등 최신 안티봇 시스템을 우회하는 StealthyFetcher 제공
- 동시성 제어, 프록시 순환, 중단 후 재개 기능을 갖춘 대규모 크롤링 스파이더 프레임워크
- Claude, Cursor 등 AI 도구와 즉시 연동 가능한 MCP(Model Context Protocol) 서버 내장
- Playwright 기반의 동적 페이지 렌더링 및 브라우저 자동화 지원
사용 사례
- 자주 디자인이 바뀌는 이커머스 사이트의 상품 정보를 안정적으로 수집하고 싶을 때
- AI 에이전트(Claude 등)에게 실시간 웹 데이터 추출 및 브라우징 능력을 부여하고 싶을 때
- 강력한 안티봇 솔루션이 적용된 웹사이트에서 대량의 데이터를 효율적으로 크롤링해야 할 때
47.9k
Stars
4.5k
Forks
+335
Trending
0
조회수
47.9k watchers2 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.