TL;DR

insane-search는 Claude Code용 플러그인으로, 공개 페이지 접근이 차단될 때 여러 공개 경로와 브라우저 재현을 단계적으로 시도해 텍스트와 구조화 메타데이터를 확보한다. 설치나 API 키가 필요하지 않으며 gptaku-plugins를 통해 플러그인으로 배포되어 Claude Code의 기본 fetch가 실패할 때 자동으로 개입한다. 작동 원리는 Phase 0→3의 적응형 스케줄러로, 먼저 플랫폼 API·피드·모바일 또는 .json 변형 같은 경량 공개 경로를 시도하고 실패하면 TLS 핑거프린트 모방(curl_cffi)과 쿠키 워밍을 통해 사람 브라우저 정체성을 재현한 뒤 최종적으로 헤드리스 브라우저에서 네트워크 트래픽을 관찰해 내부 공개 JSON을 재활용한다. 모든 응답에서 OGP·JSON-LD를 검사해 제목·요약·가격 등 핵심 정보를 추출하며 yt-dlp 등 미디어 도구를 자동 설치해 캡션·메타데이터를 확보한다. 결과적으로 Claude Code가 403·WAF·CAPTCHA 등으로 실패하던 공개 컨텐츠 접근을 자동화된 대체 경로로 복구하지만, 로그인이나 유료벽은 시도하지 않고 'authentication required'로 명확히 중단한다. 따라서 공개 컨텐츠 수집과 요약 자동화에는 실용적이지만 인증 우회나 유료 컨텐츠 접근 수단으로 사용되지는 않는다.

주요 기능

• 차단 신호 감지 시 자동으로 단계별 우회 루틴을 실행
• 공개 API·피드·oEmbed 등 경로부터 TLS 모방·헤드리스 브라우저까지 순차 탐색
• 브라우저 수준 TLS 핑거프린트와 쿠키 워밍으로 사람 브라우저 정체성 구성
• 페이지 응답에서 OGP/JSON-LD 등 구조화된 메타데이터를 추출
• 필요 도구(curl_cffi, yt-dlp 등)를 첫 사용 시 자동 설치

어떻게 동작하는가

URL 요청이 차단되면 Phase 0→3의 적응형 스케줄러가 이전 단계 실패 시에만 다음 단계로 넘어가며 공개 API·피드·경량 프로브 → TLS 핑거프린트 모방(curl_cffi) → 실제 헤드리스 브라우저 순으로 시도한다. 모든 응답에서 OGP/JSON-LD를 검사하고, 헤드리스 브라우저 단계에서는 브라우저의 네트워크 트래픽을 관찰해 사이트 내부의 공개 JSON API를 재사용한다.

해결 문제

Claude Code 등 에이전트가 403, WAF, CAPTCHA 등으로 공개 페이지를 읽지 못할 때 공개 경로와 브라우저 재현을 순차적으로 시도해 사용자가 요청한 공개 컨텐츠와 구조화 메타데이터를 확보한다.

지금 주목받는 이유

Claude Code 플러그인으로서 Claude Code가 접근 실패할 때 자동으로 여러 공개 경로를 시도해 콘텐츠를 반환하므로, 에이전트 기반 도구의 웹 접근성 문제를 해결하는 도구로 주목받는다.

차별점

• 적응형 Phase 0→3 스케줄러로 가벼운 공개 경로부터 헤드리스 브라우저까지 순차적·조건적 재시도 로직을 구현
• 단순 User-Agent 교체가 아니라 TLS 핑거프린트·쿠키 워밍·레퍼러 체인까지 구성해 사람 브라우저 정체성을 모사
• 헤드리스 브라우저의 네트워크 트래픽을 관찰해 사이트가 자체적으로 사용하는 공개 JSON을 재사용함으로써 더 신뢰성 높은 구조화 데이터 추출
• 초기 설정이나 API 키가 불필요하며 필요한 도구는 첫 사용 시 자동으로 설치됨

사용 사례

• Claude Code에게 Reddit·X·Hacker News 등의 공개 피드에서 토론을 찾아 요약하도록 요청할 때 차단된 경우에도 공개 경로를 통해 텍스트를 회수
• YouTube 동영상의 자막·메타데이터를 yt-dlp 기반으로 확보해 요약이나 인용에 사용할 때
• arXiv·Medium·Substack·GitHub 같은 공개 페이지에서 OGP/JSON-LD로 제목·요약·저자 정보를 자동 수집할 때
• 웹사이트가 WAF나 캡차로 차단하는 상황에서 수작업으로 미러·모바일 URL을 찾는 대신 에이전트 요청으로 자동화된 대체 경로를 시도할 때

시작하기

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git /plugin install insane-search@gptaku-plugins /reload-plugins 설치 후 Claude Code에 평소처럼 질의하면, fetch가 차단될 때 플러그인이 자동으로 우회 시도

요구사항

• Claude Code 호스팅 환경(플러그인 로더) 또는 gptaku-plugins 호환 환경
• Python 런타임(레포지토리 언어 표기 기반)
• 네트워크 접근 권한(공개 URL 접근 가능)
• 헤드리스 브라우저를 실행할 수 있는 환경(Phase 3에서 필요)
• 파일/패키지 설치 권한 — 첫 사용 시 curl_cffi, yt-dlp 등 자동 설치

이미지 분석