TL;DR
유럽 비영리 단체 AI Forensics의 조사 결과 Hugging Face에 올라온 상위 이미지 편집 모델들이 간단한 텍스트 지시로 여성의 옷을 벗기는 합성 이미지를 생성하는 데 응답한 것으로 나타났다. 조사 방법은 모델에 텍스트 프롬프트를 넣어 출력 이미지를 관찰하는 방식으로, 상위 9개 모델 가운데 7개가 해당 요청에 응답했다는 수치적 근거를 제시했다. 주요 상용 모델들은 입력 차단 등 가드레일을 적용해 유사 요청을 차단하는 반면 조사 대상 모델들은 플랫폼 또는 모델 수준의 안전검증이 부족해 비동의 딥페이크 가능성이 높아졌다는 점이 지적되었다. 이 결과는 공개 모델의 배포와 호스팅 정책, 그리고 플랫폼 차원의 안전 통제 강화가 필요함을 보여준다.
섹션별 상세
- AI Forensics 보고서는 Hugging Face에 호스팅된 상위 9개 이미지 편집 모델 가운데 7개가 간단한 프롬프트로 여성의 옷을 벗기는 요청에 응답했다고 밝혔다. — AI Forensics 보고서 결과 인용 부분 및 The Verge 기사 본문 내 해당 결과를 언급한 단락
용어 해설
- 딥페이크(Deepfake)
- — 실제 인물의 얼굴이나 신체를 AI로 합성하여 존재하지 않는 영상이나 이미지를 생성하는 기법으로, 입력 이미지와 텍스트 프롬프트를 결합해 대상의 외모를 변경하거나 탈의·성적 표현을 만들어내는 방식이 흔하며 프라이버시와 허위정보 문제를 유발한다.
- 가드레일(Guardrails)
- — 모델이 부적절하거나 유해한 요청에 응답하지 않도록 입력 필터링·출력 검열·안전 정책을 적용하는 방어층을 의미하며, 프롬프트 필터, 안전체크포인트, 사전·사후 필터링으로 구성되어 비동의·성적 콘텐츠 생성을 차단하는 역할을 한다.
- 이미지 편집 모델(Image Editing Model)
- — 주어진 이미지와 텍스트 지시에 따라 이미지의 일부를 변경하거나 합성하는 생성 모델 범주로, 입력 이미지와 텍스트를 결합해 출력 이미지를 생성하며 잘못된 프롬프트에 대해 안전장치가 없으면 비동의 합성물 생성에 악용될 수 있다.
기술
- Hugging Face
- Gemini
- ChatGPT
활용 사례
- 비동의 딥페이크 생성 및 이미지 성적화
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.