로봇 배제 표준
웹사이트가 크롤러에게 수집 허용 범위를 알려주는 텍스트 파일이다. 강제성이 없는 권고 사항이기에 많은 AI 기업들이 이를 무시하고 데이터를 수집하는 문제가 발생하고 있다.
