비개발자가 구축한 자동화 웹 스크래핑 및 데이터 처리 스택 공유

커뮤니티 반응

대체로 긍정적이며, 특히 Firecrawl의 성능과 n8n의 활용성에 대해 많은 사용자가 관심을 보이고 유사한 스택 경험을 공유했습니다.

주요 논점

01찬성다수

직접 코딩하는 대신 검증된 SaaS와 로우코드 도구를 조합하는 것이 생산성 측면에서 압도적이다.

합의점 vs 논쟁점

합의점

웹 스크래핑에서 가장 큰 장애물은 사이트의 동적 구조와 보안 차단이며 이를 해결하는 전용 서비스가 필수적이다.
LLM은 코드 생성기보다 데이터 변환 및 요약 도구로 사용될 때 더 높은 신뢰성을 보여준다.

실용적 조언

스크래핑 결과가 계속 깨진다면 직접 코드를 수정하지 말고 Firecrawl이나 Jina Reader 같은 Markdown 변환 도구를 검토하라.
데이터 저장소로 Supabase를 사용하면 n8n과의 연동이 쉽고 초기 무료 티어로 충분히 시작 가능하다.

섹션별 상세

작성자는 초기 전략으로 Claude에게 직접 스크래핑 코드를 작성하게 했으나 사이트마다 구조가 달라 코드가 계속 깨지는 루프에 빠졌다. 이는 단순 코드 생성보다 동적 콘텐츠나 보안 솔루션을 우회하는 인프라적 접근이 더 중요함을 시사한다. 결국 도구 자체를 교체함으로써 2주간 해결하지 못한 문제를 단 하루 만에 해결했다.

노트북 화면에 VS Code와 Claude 인터페이스가 띄워져 있는 작업 환경 사진이다. — Photo작성자가 실제로 Claude를 사용하여 코드를 작성하고 프로젝트를 진행 중인 환경을 보여준다. 화면 우측에는 Claude와의 대화창이 있어 기술적 문제를 해결하는 과정을 시각적으로 뒷받침한다.

워크플로의 핵심인 Firecrawl은 복잡한 JavaScript 사이트와 Cloudflare 보안을 처리하며 결과물을 깨끗한 Markdown 형식으로 반환한다. Firecrawl이 원시 데이터를 수집하면 Claude가 이를 입력받아 필요한 정보만 추출하고 불필요한 노이즈를 필터링하는 정제 과정을 거친다. 이 과정은 n8n을 통해 하루 두 번 자동으로 실행되도록 스케줄링되어 운영 효율을 높였다.

전체 시스템 유지 비용은 월 약 30달러 수준으로 Supabase를 데이터 저장소로 사용하여 초기 비용을 최소화했다. n8n은 워크플로 엔진으로서 Firecrawl의 출력값을 Claude API로 전달하고 최종 데이터를 Supabase 테이블에 삽입하는 전체 파이프라인을 관리한다. 비개발자도 API와 로우코드 도구의 조합으로 상용 수준의 데이터 수집기를 운영할 수 있음을 보여준다.

언급된 도구

n8n추천링크

워크플로 자동화 및 API 오케스트레이션

Firecrawl추천링크

JavaScript 및 보안 사이트 스크래핑 및 Markdown 변환

Claude추천

데이터 정제 및 정보 추출

Supabase추천

정제된 데이터 저장 및 관리