웹 크롤러
웹 크롤러는 검색 엔진 등이 웹사이트의 콘텐츠를 수집하기 위해 자동으로 정보를 읽어가는 프로그램이다. 과거에는 구글 봇이 트래픽의 주류였으나, 현재는 생성형 AI 학습 및 실시간 정보 검색을 위한 봇들이 기하급수적으로 증가하며 웹 생태계의 부하를 가중시키고 있다.