TL;DR
제안된 집단소송은 xAI의 생성 모델 Grok으로 추정되는 도구가 한 어린이의 실사진을 입력으로 받아 다수의 아동 성적 이미지를 만든 사례를 중심으로 플랫폼 책임과 신고 체계의 허점을 지적한다. 수정된 고소장은 한 사용자가 의붓딸의 사진 한 장으로 약 7,000장의 성적 이미지를 생성했다고 적시하고 해당 사용자가 사건 발견 후 자살했다고 기술해 피해 규모와 심각성을 부각시킨다. 고소장은 xAI의 안전 시스템이 특정 표현('gang rape')이 입력되었을 때만 NCMEC로 CyberTip을 전송했다고 적시하며, 이로 인해 다수의 생성 이미지가 자동 신고·차단 체계에서 누락되었을 가능성이 제기된다. 이 사건은 생성형 모델의 출력과 원본 이미지 민감성을 동시에 고려하는 포괄적 탐지 및 신고 기준 수립이 필요함을 시사한다.
섹션별 상세
- xAI의 시스템은 'gang rape' 프롬프트가 입력되었을 때에만 CyberTip을 NCMEC에 전송했다고 고소장은 적시했다. — 기사 본문 및 수정된 고소장 내 신고 흐름 서술 부분 출처
용어 해설
- Grok
- — Grok은 xAI가 제공하는 대화형 생성 모델로서 텍스트 입력을 받아 이미지나 텍스트 출력과 같은 생성 결과를 반환하는 방식으로 동작한다. 프롬프트에 따라 민감한 이미지 변환을 수행할 수 있으며, 안전성 필터는 특정 패턴의 입력을 탐지해 신고나 차단 절차를 트리거할 수 있다. 본문에서는 Grok이 개인 사진을 바탕으로 아동 성적 이미지 생성에 사용되었다는 주장 맥락에서 중요하게 다뤄졌다.
- CSAM
- — CSAM은 아동을 성적 대상화한 이미지나 영상 자료를 가리키며 법적·윤리적 차원에서 즉시 차단·신고가 요구되는 콘텐츠 유형이다. 생성형 모델이 실존 아동 사진을 변형해 새로운 CSAM을 만들면 추가 피해와 수사 방해 요소가 발생할 수 있다. 본문에서는 모델이 생성한 이미지가 CSAM에 해당한다는 주장과 신고 체계의 역할이 핵심 쟁점으로 제시되었다.
- NCMEC
- — NCMEC는 실종 아동 및 아동 착취 관련 보고를 접수하고 수사 기관에 통보하는 비영리 기관으로서 온라인상의 아동 착취 정황을 수집해 법집행기관과 공유한다. 사이버팁(CyberTip) 접수는 NCMEC가 수사 개시의 계기가 되는 절차이며 본문에서는 xAI의 시스템이 특정 프롬프트에 대해 CyberTip을 보냈다고 규정되어 있다. 플랫폼과 수사기관 간의 신고 연계가 얼마나 포괄적으로 작동했는지가 쟁점이다.
- Nudify
- — 누디파이 도구는 인물 사진을 입력으로 받아 신체를 노출한 이미지로 변환하는 이미지 조작 기법 또는 기능을 지칭하며 프라이버시와 법적 문제를 야기한다. 생성형 모델에서는 소량의 입력 이미지로 다수의 변형 이미지를 생성할 수 있어 피해 확산이 빠르게 일어날 수 있다. 본문에서는 이러한 유형의 도구가 아동 피해를 촉진하는 방식으로 문제화되었다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
