OpenAI의 ChatGPT 성인용 콘텐츠 허용 계획과 '친밀한 감시'의 위험성

섹션별 상세

OpenAI는 공식 문서를 통해 성인 사용자가 ChatGPT를 사용하여 에로티카를 생성할 수 있도록 허용하는 방안을 2년 전부터 시사해 왔으며, 현재 외부 전문가 자문위원회를 통해 관련 리스크를 검토 중이다. 자문위원회는 '섹시한 자살 코치'와 같은 극단적인 부작용 가능성을 경고했으나, OpenAI는 수익화를 위해 사용자들이 이미 시도하고 있는 성인용 콘텐츠 시장으로의 확장을 꾀하고 있다.

ChatGPT의 고도화된 메모리 기능은 사용자의 식단이나 위치 정보를 기억하는 수준을 넘어, 성인 모드 도입 시 사용자의 성적 취향, 특정 판타지, 반복적인 대화 패턴 등을 학습하고 저장하게 된다. 이는 사용자가 인간 파트너에게도 말하지 못할 극도로 사적인 정보를 AI에게 털어놓게 유도하며, 결과적으로 기업이 사용자의 가장 깊은 내면을 데이터화하는 '친밀한 감시(Intimate Surveillance)' 체계를 구축하게 만든다.

사용자는 '임시 채팅(Temporary Chats)' 기능을 통해 기록이 남지 않는다고 믿을 수 있지만, OpenAI는 안전 및 정책 준수 확인을 위해 해당 데이터를 최대 30일 동안 서버에 보관한다. 과거 ChatGPT에서 타인의 대화 제목이 노출되거나 공유 설정 오류로 인해 대화 내용이 구글 검색 결과에 인덱싱되었던 사례들을 비추어 볼 때, 성인용 대화 데이터의 유출은 사용자에게 치명적인 사회적 타격을 줄 수 있다.

인간-AI 상호작용 전문가 줄리 카펜터는 사용자들이 AI를 의인화하도록 설계된 환경에서 스스로를 취약한 상태로 노출시키기 쉽다고 지적한다. 사용자는 AI와의 공간을 안전하고 창의적인 연습장으로 인식하여 가장 은밀한 생각을 공유하지만, 실제로는 데이터가 수집되고 분석되는 감시 환경에 놓여 있다는 사실을 인지해야 한다고 강조한다.

용어 해설

의인화(Anthropomorphism): — 인간이 아닌 대상에게 인간의 감정, 의도, 특성을 부여하는 심리적 현상이다. AI 모델이 고도로 개인화된 대화를 제공할수록 사용자는 기계를 인격체로 착각하여 더 깊은 정서적 유대감을 느끼게 된다.
데이터 보존 정책(Data Retention): — 기업이 서비스 운영, 보안, 법적 요구 사항을 충족하기 위해 사용자 데이터를 서버에 저장하는 기간을 의미한다. OpenAI는 안전 모니터링을 위해 임시 채팅 데이터도 최대 30일간 보관한다.
친밀한 감시(Intimate Surveillance): — 사용자가 AI와 나누는 지극히 사적이고 은밀한 대화 데이터가 수집 및 분석되는 현상이다. 일반적인 검색 기록보다 훨씬 구체적인 개인의 욕망과 판타지가 데이터화되어 기업의 자산이 되는 위험성을 내포한다.

기술

ChatGPT
OpenAI API

활용 사례

AI Sexting
Personalized Chatbots