Claude Code와 Playwright MCP를 활용한 실시간 채용 공고 스크래퍼 구축

작성자의 프로젝트 결과물에 대해 긍정적인 반응이며, 특히 AI를 활용한 자동화 워크플로우와 실제 배포된 서비스(faangapply.io)에 관심을 보이고 있습니다.

• 다수의 사이트를 스크래핑해야 할 때 Claude Code 인스턴스를 병렬로 띄워 각기 다른 URL을 할당하면 개발 속도를 높일 수 있다.
• Playwright MCP를 활성화하여 Claude가 직접 DOM을 보고 선택자를 뽑게 하면 스크래퍼의 정확도가 향상된다.

MCP

— AI 모델이 외부 도구나 데이터 소스와 상호작용할 수 있도록 표준화된 인터페이스를 제공하는 프로토콜이다. 이를 통해 Claude와 같은 모델이 브라우저 제어 도구인 Playwright를 직접 실행하여 웹 페이지의 DOM 구조를 분석하고 조작할 수 있게 된다.

DOM Selector

— HTML 문서의 특정 요소에 접근하기 위해 사용하는 식별자이다. 웹 스크래핑 시 AI가 페이지 구조를 파악하여 채용 공고의 제목, 날짜, 지원 링크와 같은 특정 데이터가 위치한 요소를 정확히 찾아내는 데 필수적인 역할을 한다.

Playwright

— 웹 브라우저 자동화를 위한 오픈소스 라이브러리이다. 단일 API로 Chromium, Firefox, WebKit을 제어할 수 있으며, AI 에이전트가 실제 사용자처럼 웹 페이지를 탐색하고 페이지네이션을 처리하며 데이터를 추출하는 스크립트를 작성하는 기반이 된다.