검색 및 URL 추출 기능을 통합한 MCP 서버, google-surf-mcp 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

검색과 URL 추출을 하나의 MCP 서버로 통합하여 학술 자료 처리와 토큰 효율성을 최적화한 도구입니다.

기존의 무료 MCP 서버들이 검색 및 추출 기능에서 잦은 실패를 겪는 문제를 해결하기 위해, 검색과 URL 추출을 하나의 서버로 통합한 도구를 개발하여 공유했다.

이 도구는 MCP 기반 에이전트 워크플로우에서 검색과 데이터 추출의 효율성을 높이는 실질적인 해결책을 제시한다. 특히 학술 자료 처리에 최적화된 단계적 추출 방식은 에이전트의 토큰 비용 관리와 정확도 향상에 기여한다.

기존 MCP 서버들이 검색 및 URL 추출 과정에서 잦은 실패를 겪는 문제를 해결하기 위해 통합 서버를 개발했다. 검색과 추출을 하나의 MCP로 결합하여 별도의 fetch MCP 호출 없이도 효율적인 데이터 처리가 가능하다.

학술 논문(Arxiv, Nature 등)을 자동으로 감지하고 처리하는 기능을 포함했다. 추상화(abstract) 모드와 전체(full) 모드를 구분하여, 검색 결과 중 관련성 높은 자료만 전체 내용을 추출함으로써 토큰 비용을 절감한다.

CAPTCHA 문제를 해결하기 위해 자동 복구 기능을 구현했다. Chrome 창을 띄워 사용자가 직접 해결하도록 유도하고, 이후 프로필 평판을 유지하며 재시도하는 방식을 채택했다.

보안 및 안정성을 위해 SSRF 방어, DNS 리바인딩 방지, 리다이렉트 검증 등의 전략을 적용했다. 1Gbps 환경에서 10개 병렬 쿼리 처리 시 약 5초의 응답 속도를 확보했다.

google-surf-mcp추천링크

검색 및 URL 추출 통합 MCP 서버

Playwright추천

웹 자동화 및 스크래핑