web-scraping-agent

실시간으로 여러 웹 페이지를 수집·모니터링하여 변경된 콘텐츠를 추출하고 파이프라인으로 전달하는 자동화 프로세스로서, 요청 스케줄링·동적 렌더링 처리·중복 제거·지연 관리 등을 포함해 대량의 컨텍스트를 모델 입력으로 변환하는 전단계를 담당한다.