eatmoreduck/boss-zhipin-scraper
Python0 / 0
이미 로그인된 로컬 Chrome을 CDP로 붙어 BOSS직핀 검색 API를 직접 호출해, 폰트 반크롤링을 우회한 평문 급여 데이터를 JSON/CSV로 뽑는 스크래퍼 겸 Hermes 스킬.
TL;DR
이 도구는 Selenium/Playwright처럼 새 브라우저를 띄우지 않고, 이미 로그인된 실제 Chrome에 Chrome DevTools Protocol로 붙어 사용자의 진짜 지문과 로그인 상태를 그대로 재사용해 검색 API를 호출한다. API가 반환하는 salaryDesc는 원래부터 평문이라 폰트 난독화로 급여를 가리는 반크롤링 자체를 우회할 필요가 없고, 그 덕에 자동화 트래픽으로 식별되기 어렵다는 것이 저자의 핵심 주장이다. 격리된 전용 Chrome 프로필에서 로그인 상태를 영구 보존하고, 로그인 감지 시 요청 간격을 3초에서 15초까지 점증적으로 늘리며 위험 상태 코드(31, 37 등)를 만나면 즉시 탐지를 멈추는 식으로 계정 안전판을 여러 겹 둔다. 잡은 데이터를 급여 분포·경력 요건·기술 키워드로 집계해 이력서 키워드 보완과 면접 준비 체크리스트용 프롬프트까지 자동 생성해, 특정 직무·도시의 채용 시장을 개인 연구 목적으로 정량 분석하려는 용도에 맞는다.
핵심 포인트
- 새 브라우저를 띄우지 않고 CDP로 이미 로그인된 Chrome에 붙어 검색 API를 직접 호출해, 새 자동화 브라우저의 지문 노출 문제를 원천적으로 없앤다.
- API의 salaryDesc가 평문이라 폰트 반크롤링을 우회하고, API 무응답 시 DOM 폴백은 전용 플래그 없이는 하지 않는다.
- code 31/37 같은 제한 상태를 만나면 탐지를 즉시 멈추고, 전용 격리 프로필을 써서 메인 Chrome 계정은 건드리지 않는다.
- 잡은 데이터에서 이력서 개인 파일을 전혀 읽지 않고 통계만으로 프롬프트를 만들어, 개인정보를 다루지 않으면서도 실무적인 구직 준비 자료를 뽑는다.
941
STARS
123
FORKS
+209
TRENDING
0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.