챗봇이 상담사가 될 때: 정신 건강을 위한 책임감 있는 AI 사용은 가능한가?

섹션별 상세

수백만 명의 사용자가 외로움이나 자살 충동 같은 민감한 문제를 AI와 공유하고 있지만 현재의 시스템은 임상적 검증이 부족하다. 특히 다회차 대화에서 안전 장치가 약화되거나 프롬프트 재구성을 통한 탈옥으로 인해 자살 위험을 과소평가하는 등의 실질적인 위해 사례가 보고되고 있다.

AI 기술은 급격히 발전하는 반면 전통적인 임상 연구는 속도가 느려 기술 적용에 필요한 지침을 제때 제공하지 못하는 증거와 실행의 역설이 발생한다. 기업들은 불확실성 속에서도 정성적 데이터와 신규 증거를 바탕으로 임상 전문가와 협력하여 제품 의사결정에 반영해야 한다.

현재 주요 AI 기업들은 정신 건강 관련 안전 문제를 각자 개별적으로 해결하고 있어 중복된 노력이 발생하고 표준화된 안전 경험을 제공하지 못하고 있다. 기업 간 테스트된 개입 방식과 패턴을 공유함으로써 소수의 전문가 자원을 효율적으로 활용하고 모든 플랫폼에서 일관된 안전 기준을 적용해야 한다.

기업 내부의 자체 검증만으로는 객관성을 담보할 수 없으므로 기술적 전문성과 임상적 전문성을 결합한 독립적인 제3자 평가가 필수적이다. 이를 통해 무엇이 안전한 대응인지에 대한 기준을 세우고 고위험 상황에서 AI의 성능을 지속적으로 모니터링할 수 있는 근거 기반의 벤치마크를 수립해야 한다.

PAI는 OpenAI 본사에서 Anthropic, Meta, 미국 심리학회(APA) 등이 참여한 워크숍을 통해 자살 예방 및 자해 대응을 위한 구체적인 질문들을 논의했다. 위기 상황에서 챗봇이 대화를 주도적으로 이어가야 하는지, 단순 리소스 제공을 넘어 개입을 에스컬레이션해야 하는지 등의 문제를 다루었으며 향후 3~5개의 핵심 실무 지침을 공개할 예정이다.

용어 해설

탈옥(Jailbreak): — AI 모델에 설정된 안전 가이드라인이나 제약 사항을 우회하여 금지된 답변을 유도하는 행위이다. 정신 건강 상담 맥락에서는 자해 방법이나 위험한 조언을 얻기 위해 프롬프트를 교묘하게 재구성하는 방식으로 나타나며, 이는 시스템의 안전성을 심각하게 위협한다.
다회차 대화(Multi-turn Conversation): — 사용자와 AI가 여러 번의 메시지를 주고받으며 맥락을 이어가는 연속적인 대화 방식이다. 대화가 길어질수록 초기에 설정된 시스템 프롬프트나 안전 지침의 영향력이 약해질 수 있어, 위기 상황에 처한 사용자를 대응할 때 기술적인 관리 난이도가 높다.
비자살적 자해(NSSI): — 자살하려는 의도 없이 자신의 몸에 고의적으로 상처를 입히는 행위(Non-Suicidal Self-Injury)를 의미한다. AI 챗봇이 이러한 징후를 정확히 식별하고 적절한 전문 상담 리소스로 연결하는 것은 정신 건강 관련 AI 안전의 핵심 과제 중 하나이다.
임상적 검증(Clinical Validation): — 특정 치료법이나 도구가 실제 환자에게 의학적으로 효과가 있고 안전한지 과학적인 절차를 통해 증명하는 과정이다. 현재 많은 사용자가 AI를 상담용으로 쓰고 있음에도 불구하고, 대다수 범용 모델은 이러한 엄격한 임상적 검증을 거치지 않은 상태이다.
프런티어 AI(Frontier AI): — 현재 기술 수준에서 가장 앞선 성능을 보유한 대규모 AI 모델을 지칭한다. 막대한 연산 자원과 데이터를 투입해 학습되며, 뛰어난 성능만큼이나 예상치 못한 위험이나 사회적 영향을 초래할 수 있어 특별한 안전 관리와 규제 논의의 대상이 된다.

기술

ChatGPT
Claude
Llama

활용 사례

심리 상담 보조 시스템
자살 예방 및 위기 개입 챗봇
정신 건강 모니터링 도구

언급된 리소스

문서When A Chatbot Becomes Your Therapist (Tech Policy Press Op-ed)