LLM 크롤러
대규모 언어 모델(LLM) 학습을 위한 데이터를 수집하기 위해 웹사이트를 자동으로 탐색하고 데이터를 추출하는 봇. 데이터 품질 확보를 위해 대규모로 수행되며, 과도한 요청으로 인해 대상 서비스의 가용성을 저해할 수 있음.