TL;DR

이 레포는 Playwright로 Xianyu 웹을 자동 크롤링하고 OpenAI 호환 멀티모달 모델로 상품 텍스트와 이미지를 분석해 웹 UI에서 실시간 및 정기 모니터링, 알림 전송을 제공하는 Docker 중심의 통합 솔루션이다. FastAPI를 백엔드로 사용하고 SQLite를 기본 저장소로 채택해 초기 설치와 로컬 운영이 간편하며 Docker 이미지에 Chromium을 포함해 브라우저 의존성을 제거했다. 작업 단위로 AI 기준 생성, 키워드 규칙, 지역·가격 필터, 계정·프록시 회전을 조합해 대규모 모니터링의 안정성을 확보하도록 설계되었으며 알림은 ntfy.sh·企业微信·Bark·Telegram·Webhook 등으로 전달된다. 단점으로는 OpenAI 호환 모델 API 키와 모델 사용이 필수이며, 고빈도·대규모 수집 환경에서는 SQLite 대신 외부 DB 전환이 권장된다.

핵심 포인트

• 웹 기반 완결형 관리 인터페이스를 내장해 작업 생성, AI 기준 편집, 로그 확인, 결과 브라우징을 단일 애플리케이션에서 수행할 수 있다. 대부분 스크립트형 모니터와 달리 비개발자도 설정을 조작해 워크플로를 운영할 수 있다. UI는 작업별 진행 상태와 결과를 시계열로 보여 운영성을 높였다.
• Docker 이미지에 Chromium을 포함해 컨테이너 단위로 브라우저 의존성을 해결하므로 초기 배포 시 브라우저 설치 관련 오류를 줄인다. 이 방식은 로컬·서버 환경 간 설정 차이를 줄여 반복 가능한 배포를 가능하게 한다. 또한 docker-compose로 전체 스택을 원클릭 기동할 수 있도록 제공된다.
• 멀티모달 AI 분석을 작업 생성 파이프라인에 통합해 단순 키워드 필터링보다 더 풍부한 상품 판별 정보를 생성한다. AI 기반 생성 규칙과 수동 키워드 규칙을 병행해 유연한 트리거 구성이 가능하다. AI 생성 작업은 백그라운드 job으로 처리되어 사용자 인터페이스의 응답성을 보장한다.
• 계정 바인딩과 프록시 풀 회전, 실패 임계치 기반 대체 로직을 내장해 장시간 대규모 크롤링 운영에서 세션 및 차단 문제에 대응하는 기능을 제공한다. 단일 계정 의존형 접근보다 재시도와 회복력이 뛰어나다. 이로 인해 장기 모니터링 작업의 안정성이 개선된다.

이미지 분석