Claude Code와 Playwright MCP를 활용한 실시간 채용 공고 스크래퍼 구축

실용적 조언

다수의 사이트를 스크래핑해야 할 때 Claude Code 인스턴스를 병렬로 띄워 각기 다른 URL을 할당하면 개발 속도를 높일 수 있다.
Playwright MCP를 활성화하여 Claude가 직접 DOM을 보고 선택자를 뽑게 하면 스크래퍼의 정확도가 향상된다.

섹션별 상세

작성자는 다수의 Claude Code 프로세스를 병렬로 실행하여 개발 속도를 극대화했다. 각 프로세스에 서로 다른 채용 페이지 URL을 입력값으로 제공하여 독립적인 스크래핑 로직을 동시에 생성하도록 유도했다. 이 방식을 통해 수동으로 작성할 경우 많은 시간이 소요되는 20개 이상의 사이트별 스크래퍼를 단시간에 완성했다. 이는 AI 에이전트를 병렬 워크플로우에 투입했을 때의 생산성 향상을 실증한다.

Playwright MCP를 통해 Claude가 웹 페이지의 DOM 구조를 직접 시각적으로 파악하도록 설계했다. AI 모델이 브라우저 환경에 직접 접근하여 적절한 CSS 선택자를 식별하고 복잡한 페이지네이션 로직을 스스로 판단하여 코드를 작성했다. 결과적으로 정적 분석만으로는 파악하기 어려운 동적 웹 요소들을 처리할 수 있는 견고한 Playwright 스크립트가 생성됐다. 이는 MCP가 AI의 컨텍스트 이해 범위를 로컬 파일을 넘어 실시간 웹 환경으로 확장시켰음을 의미한다.

구축된 시스템은 채용 공고가 게시된 후 약 2분 이내에 텔레그램으로 알림을 전송하는 성능을 보였다. 기존 채용 플랫폼들이 공고 게시 후 24시간 이상 지난 뒤에야 사용자에게 노출되는 한계를 직접적인 웹 스크래핑으로 극복했다. 작성자는 이 워크플로우를 확장하여 단순 알림을 넘어선 전체 웹 대시보드를 구축할 계획이다. 실무적으로는 특정 도메인에 특화된 실시간 데이터 수집 도구를 AI 에이전트로 빠르게 프로토타이핑할 수 있음을 보여준다.

용어 해설

모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 도구나 데이터 소스와 상호작용할 수 있도록 표준화된 인터페이스를 제공하는 프로토콜이다. 이를 통해 Claude와 같은 모델이 브라우저 제어 도구인 Playwright를 직접 실행하여 웹 페이지의 DOM 구조를 분석하고 조작할 수 있게 된다.
DOM 선택자(DOM Selector): — HTML 문서의 특정 요소에 접근하기 위해 사용하는 식별자이다. 웹 스크래핑 시 AI가 페이지 구조를 파악하여 채용 공고의 제목, 날짜, 지원 링크와 같은 특정 데이터가 위치한 요소를 정확히 찾아내는 데 필수적인 역할을 한다.
플레이라이트(Playwright): — 웹 브라우저 자동화를 위한 오픈소스 라이브러리이다. 단일 API로 Chromium, Firefox, WebKit을 제어할 수 있으며, AI 에이전트가 실제 사용자처럼 웹 페이지를 탐색하고 페이지네이션을 처리하며 데이터를 추출하는 스크립트를 작성하는 기반이 된다.

언급된 도구

Claude Code추천

자율 AI 코딩 및 에이전트 실행

Playwright추천

브라우저 자동화 및 웹 스크래핑

MCP추천

모델과 외부 도구(Playwright) 간의 연결 프로토콜

언급된 리소스

Demofaangapply.io