TL;DR
SourceHut의 git.sr.ht가 대규모 언어 모델 학습 데이터를 수집하는 공격적 봇넷의 스크래핑으로 불안정해지자 운영팀은 웹 서비스의 여러 경로를 비활성화해 일부 가용성만 유지하고 있다. 크롤러는 기존의 부하 완화 방어를 우회했으며, 상태 페이지에는 git.sr.ht만 Disrupted로 표시되고 hg.sr.ht와 builds.sr.ht 등 다른 서비스는 Operational 상태다. 장애는 아직 해결되지 않았고, 2025년 3월 168시간 30분과 12월 144시간 동안에도 LLM 크롤러 관련 장애가 발생해 반복적인 운영 부담으로 이어졌다.
섹션별 상세
용어 해설
- LLM 크롤러(LLM Crawler)
- — LLM 학습 데이터를 수집하기 위해 웹 페이지나 코드 저장소를 자동으로 읽는 봇이다. 짧은 시간에 많은 요청을 보내면 일반적인 검색 봇보다 큰 부하를 만들 수 있으며, 사이트 운영자는 요청 제한이나 차단 규칙으로 이를 완화한다. 이 사건에서는 공격적 크롤러가 git.sr.ht의 데이터를 수집하면서 서비스 불안정으로 이어졌다.
- 봇넷(Botnet)
- — 여러 자동화된 실행 주체가 동시에 요청을 보내는 네트워크다. 단일 주소를 차단하는 방식만으로는 전체 요청을 막기 어려워 방어 규칙을 우회하거나 분산된 부하를 만들 수 있다. SourceHut는 LLM 학습용 데이터를 수집하는 공격적 봇넷이 기존 완화 방어를 우회했다고 밝혔다.
- 분산 서비스 거부 공격(DDoS)
- — 다수의 요청으로 서버나 네트워크 자원을 소진시켜 정상적인 사용을 방해하는 공격이다. 요청량을 처리하지 못하면 특정 경로의 응답이 느려지거나 서비스 자체가 불안정해진다. 원문은 LLM 크롤러에 따른 이번 장애를 과거 DDoS 장애와 함께 incident history에 기록했다.
기술
- LLM
- git.sr.ht
활용 사례
- 코드 저장소의 자동화된 데이터 수집
- 크롤러 트래픽에 대한 웹 서비스 방어
- 장애 상태와 서비스별 가용성 모니터링
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.