web-crawling
웹 크롤링
웹 크롤링은 시작 URL을 바탕으로 사이트 내부 링크를 따라가며 여러 페이지의 콘텐츠를 수집하는 작업이다. 입력으로 시작 URL을 받고 링크 추적과 페이지 요청 과정을 거쳐 HTML·Markdown·JSON 같은 정리된 출력물을 생산한다. 문서·제품 페이지·헬프센터처럼 정보가 여러 페이지에 분산된 사이트에서 RAG 파이프라인용 데이터 준비에 널리 쓰인다.
웹 크롤링
웹 크롤링은 시작 URL을 바탕으로 사이트 내부 링크를 따라가며 여러 페이지의 콘텐츠를 수집하는 작업이다. 입력으로 시작 URL을 받고 링크 추적과 페이지 요청 과정을 거쳐 HTML·Markdown·JSON 같은 정리된 출력물을 생산한다. 문서·제품 페이지·헬프센터처럼 정보가 여러 페이지에 분산된 사이트에서 RAG 파이프라인용 데이터 준비에 널리 쓰인다.
