Character.ai가 고도화하는 이용자 안전 체계

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Character.ai는 18세 미만 사용자의 개방형 Character 대화를 제한한 이후, 자해 위험 탐지와 외부 정신건강 지원 연결을 대화 전체 맥락에 맞춰 고도화하고 있습니다. 한 번의 메시지보다 장기 대화에서 점진적으로 나타나는 신호를 처리하며, Koko와 ThroughLine의 자원을 통해 사용자를 실제 도움으로 안내하려 합니다. 콘텐츠 조정 사유 통지와 이의 제기, 다른 사용자의 Characters·Posts·Voices·Scenes를 함께 차단하는 기능도 추가했습니다. 18세 미만 사용자를 위해 자체 연령 추정 모델과 연령 보증 기술을 운영하고, k-ID와 협력해 보호자에게 주간 활동 정보를 제공합니다. ConnectSafely, Internet Watch Foundation, StopNCII와의 협력으로 온라인 안전, 아동 성착취물, 비동의 친밀 이미지 대응 범위도 넓히고 있습니다.

섹션별 상세

Character.ai는 지난해 18세 미만 사용자의 Character 개방형 대화를 중단한 뒤, 창작 활동을 지원하면서도 모든 연령대의 위험을 줄이는 방향으로 안전 체계를 확장하고 있습니다. 자해 위험 대응에서는 단일 메시지의 표현만 판정하지 않고 주변 대화와 장기 대화 중 서서히 나타나는 신호를 함께 살핍니다. 신호가 포착되면 대화를 갑자기 차단하기보다 상황에 맞는 응답과 실제 지원 경로를 연결하는 것이 목표이며, 이를 위해 정신건강 전문가와 임상의의 자문을 활용하고 있습니다.

Character.ai는 Koko와 협력해 무료 자기 주도형 정서 지원 도구를 제공할 자원을 넓히고, ThroughLine을 통해 사용자의 국가에 맞는 위기·정신건강 서비스를 찾도록 연결하려 합니다. ThroughLine의 글로벌 디렉터리는 모든 사용자에게 동일한 핫라인 하나를 제시하는 대신 지역별 지원 기관을 가리키는 구조입니다. 자해 위험 신호의 탐지와 응답은 계속 투자하는 우선 영역으로 남아 있으며, 대화 맥락을 길게 처리하는 방식이 실제 도움으로 이어지는 경로를 보완합니다.

콘텐츠 조정이 보수적으로 작동하면서 허용 가능한 콘텐츠까지 조치될 수 있다는 이용자 불만에 대응해, Character.ai는 조정 사유 통지와 이의 제기 절차를 플랫폼 전반에 확대하고 있습니다. 창작자는 자신의 콘텐츠가 조정된 이유를 확인한 뒤 운영팀에 재검토를 요청할 수 있습니다. 사용자는 검색 결과, 발견 페이지, 프로필에서 다른 사용자와 그 사용자의 Characters, Posts, Voices, Scenes를 함께 차단할 수 있으며, 차단은 양방향으로 적용됩니다.

18세 미만 사용자를 위한 경험에는 c.ai Series, Feed, Comics 같은 새로운 형식이 추가됐고, 올바른 이용 환경으로 배정하기 위해 자체 연령 보증 기술과 사내 연령 추정 모델을 운영하고 있습니다. 성인 사용자의 오판에 따른 중단을 줄이도록 정확도를 계속 개선하며, k-ID와의 협력으로 Parental Insights도 보완해 연결된 보호자 이메일로 주간 활동 정보를 전달합니다. 동시에 ConnectSafely의 청소년 자문·포커스 그룹, Internet Watch Foundation의 아동 성착취물 탐지 협력, StopNCII의 프라이버시 보존 디지털 지문을 활용해 플랫폼 내부 모델만으로는 다루기 어려운 위험에 공동 대응합니다.

용어 해설

연령 보증(Age Assurance): — 사용자가 특정 연령 기준에 맞는 경험을 이용하는지 확인하는 절차와 기술입니다. Character.ai는 자체 연령 추정 모델을 활용해 18세 미만과 성인 사용자를 구분하고, 잘못된 판정으로 인한 이용 중단을 줄이도록 정확도를 계속 개선하고 있습니다.
자해 위험 탐지(Self-Harm Detection): — 대화에서 자해나 위기 상황을 나타내는 신호를 찾아 적절한 대응으로 연결하는 안전 기능입니다. Character.ai는 한 번의 메시지만 보지 않고 장기 대화의 주변 맥락과 점진적으로 나타나는 신호를 함께 처리해 실제 지원 자원으로 안내하려 합니다.
프라이버시 보존 디지털 지문(Privacy-Preserving Digital Fingerprint): — 원본 이미지 자체를 외부로 보내지 않고 콘텐츠에서 생성한 식별값을 비교하는 방식입니다. StopNCII는 이 기술을 활용해 비동의 친밀 이미지와 일치하는 콘텐츠를 탐지하고 대응하면서 피해자의 이미지가 기기를 떠나지 않도록 합니다.
위기 지원 자원 디렉터리(Crisis Resource Directory): — 자해나 정신건강 위기에 처한 사람이 거주 국가에 맞는 상담·긴급 지원 기관을 찾도록 돕는 국제 목록입니다. ThroughLine은 단일 핫라인 번호 대신 사용자의 국가에 맞는 관련 서비스를 연결하는 방식으로 외부 지원 접근성을 높입니다.
콘텐츠 조정 이의 제기(Moderation Appeal): — 플랫폼의 콘텐츠 조정 결과에 이의를 제기하고 재검토를 요청하는 절차입니다. Character.ai는 창작자에게 콘텐츠가 조정된 이유를 알리고, 결정에 동의하지 않을 때 운영팀의 추가 검토를 받을 수 있도록 이의 제기 기능을 마련하고 있습니다.

기술

Character.ai
c.ai Series
Feed
Comics
Characters
Posts
Voices
Scenes
self-harm detection
age assurance technology
in-house age estimation model
Parental Insights
privacy-preserving digital fingerprints

활용 사례

장기 대화에서 자해 위험 신호 탐지
정신건강 및 위기 지원 자원 연결
콘텐츠 조정 결과 이의 제기
사용자와 Characters·Posts·Voices·Scenes 차단
18세 미만 사용자 경험 제공
보호자 대상 주간 활동 정보 제공
아동 성착취물 탐지 및 신고
비동의 친밀 이미지 일치 콘텐츠 대응