브라우저 내부에서 웹 API를 리버스 엔지니어링하고 스크래핑하는 'Vibe Hacking' 기법

작성자가 아키텍처와 한계점에 대해 깊이 있는 토론을 제안했으며, 새로운 스크래핑 접근 방식에 대해 긍정적인 관심이 형성되었다.

• 복잡한 인증이 필요한 사이트의 데이터를 대량으로 수집해야 할 때 rtrvr.ai 확장 프로그램을 활용하면 개발 공수를 대폭 줄일 수 있다.
• GraphQL 기반의 페이지네이션을 수동으로 분석하기 어려울 때 에이전트의 자동 탐색 기능을 사용하여 스크립트를 생성할 수 있다.

• 브라우저 확장 프로그램 내에서 스크립트를 실행함으로써 별도의 인증 로직 재현 없이 기존 세션과 쿠키를 그대로 활용할 수 있다.
• AI 에이전트가 네트워크 트래픽을 모니터링하여 REST나 GraphQL 같은 내부 API 구조와 커서 페이지네이션 로직을 자동으로 파악한다.
• 실제 브라우저 컨텍스트에서 직접 네트워크 호출을 수행하므로 WAF(웹 방화벽)나 브라우저 핑거프린팅 보안 솔루션을 효과적으로 우회한다.
• 사용자가 자신의 LLM API 키를 가져와 무료로 사용할 수 있으며, 핵심 엔진인 Rover는 오픈소스로 공개되어 투명성을 확보했다.