검색 및 URL 추출 기능을 통합한 MCP 서버, google-surf-mcp 공개

섹션별 상세

01

기존 MCP 서버들이 검색 및 URL 추출 과정에서 잦은 실패를 겪는 문제를 해결하기 위해 통합 서버를 개발했다. 검색과 추출을 하나의 MCP로 결합하여 별도의 fetch MCP 호출 없이도 효율적인 데이터 처리가 가능하다.

02

학술 논문(Arxiv, Nature 등)을 자동으로 감지하고 처리하는 기능을 포함했다. 추상화(abstract) 모드와 전체(full) 모드를 구분하여, 검색 결과 중 관련성 높은 자료만 전체 내용을 추출함으로써 토큰 비용을 절감한다.

03

CAPTCHA 문제를 해결하기 위해 자동 복구 기능을 구현했다. Chrome 창을 띄워 사용자가 직접 해결하도록 유도하고, 이후 프로필 평판을 유지하며 재시도하는 방식을 채택했다.

04

보안 및 안정성을 위해 SSRF 방어, DNS 리바인딩 방지, 리다이렉트 검증 등의 전략을 적용했다. 1Gbps 환경에서 10개 병렬 쿼리 처리 시 약 5초의 응답 속도를 확보했다.

모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 데이터나 도구와 상호작용하기 위한 표준화된 프로토콜입니다. 이 아티클에서는 검색 및 URL 추출 기능을 에이전트가 호출할 수 있도록 연결하는 인터페이스로 사용됩니다.
검색 엔진 결과 페이지(SERP): — 사용자의 검색어에 대해 검색 엔진이 반환하는 결과 목록 페이지입니다. 본 도구는 이 페이지를 파싱하여 필요한 정보를 추출합니다.
서버 사이드 요청 위조(SSRF): — 공격자가 서버를 통해 내부 네트워크나 외부 서비스에 비정상적인 요청을 보내는 보안 취약점입니다. 본 도구는 이를 방지하기 위한 보안 설정을 포함합니다.

google-surf-mcp추천링크

검색 및 URL 추출 통합 MCP 서버

Playwright추천

웹 자동화 및 스크래핑