사용자 웰빙 보호를 위한 Anthropic의 노력: 자살 예방 및 아첨 방지 기술

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Anthropic은 Claude가 자살, 자해, 망상 등 민감한 주제에 대해 공감하면서도 정직하게 대응할 수 있도록 하는 다층적 안전 조치를 발표했다. 시스템 프롬프트와 강화 학습(RL)을 통한 모델 훈련뿐만 아니라, 위기 상황을 감지하는 전용 분류기(Classifier)와 외부 전문 기관(ThroughLine) 연동 배너를 도입하여 실시간 대응 체계를 구축했다. 최신 모델인 Claude 4.5 시리즈는 다회차 대화 평가에서 이전 모델 대비 비약적인 성능 향상을 보였으며, 특히 사용자에게 무조건 맞장구치는 '아첨(Sycophancy)' 현상을 업계 최저 수준으로 낮췄다. Anthropic은 이러한 평가 도구인 'Petri'를 오픈소스로 공개하여 업계 전반의 안전성 향상에 기여하고자 한다.

배경

LLM 학습 원리(RLHF), 프롬프트 엔지니어링 기초

대상 독자

AI 안전 연구자 및 LLM 서비스 개발자

의미 / 영향

LLM의 안전성 평가가 단발성 응답을 넘어 복잡한 다회차 대화와 심리적 동조 현상(아첨)까지 정교하게 관리되는 단계로 진입했음을 시사한다. 특히 Petri의 오픈소스화는 타사 모델과의 객관적 안전성 비교를 가능케 하여 업계 표준 수립에 기여할 것으로 보인다.

섹션별 상세

자살 및 자해 관련 대화에서 Claude는 시스템 프롬프트와 인간 피드백 기반의 강화 학습(RL)을 통해 공감 능력을 갖추되 전문적인 도움을 받도록 유도한다.

Claude.ai 서비스에는 별도의 소형 AI 모델인 '위기 분류기(Classifier)'가 탑재되어 실시간 대화를 스캔하고, 위험 신호 포착 시 170개국 이상의 헬프라인 정보를 담은 배너를 즉시 노출한다.

Claude.ai 인터페이스에 표시된 위기 대응 배너와 응답 예시이다. — Screenshot사용자가 절망감을 표현했을 때 분류기가 이를 감지하고 988 Lifeline 등 전문 지원 리소스를 담은 배너를 즉시 노출하는 실제 제품 구현 사례를 보여준다.

최신 Claude 4.5 제품군은 단발성 응답에서 98% 이상의 적절성을 보였으며, 특히 난이도가 높은 다회차(Multi-turn) 대화에서도 Opus 4.5가 86%의 성공률을 기록하며 이전 모델(56%) 대비 크게 개선되었다.

Claude 모델별 다회차 대화 적절성 평가 결과 차트이다. — ChartClaude 4.5 제품군이 이전 4.1 모델보다 다회차 위기 대화에서 훨씬 높은 적절성 점수를 달성했음을 나타내며, 특히 Opus 4.5의 비약적인 성능 향상을 입증한다.

사용자의 잘못된 믿음을 강화하거나 무조건 동조하는 '아첨(Sycophancy)' 현상을 줄이기 위해 '자동 행동 감사(Automated behavioral audit)' 기법을 도입하여 모델을 훈련하고 평가한다.

자동 행동 감사를 통한 망상 조장 및 아첨 지표 결과이다. — ChartClaude 4.5 제품군이 이전 모델 대비 망상 조장 및 아첨 지표에서 70-85% 낮은 수치를 기록하며, 사용자의 잘못된 믿음에 동조하지 않는 능력이 강화되었음을 보여준다.

Anthropic은 자사의 아첨 평가 도구인 'Petri'를 오픈소스로 공개했으며, 벤치마크 결과 Claude 4.5 모델들이 GPT-4o 등 타사 모델 대비 가장 낮은 아첨 발생률을 기록했다.

오픈소스 Petri 평가 도구를 활용한 타사 모델과의 아첨 지표 비교이다. — ChartClaude 4.5 Opus가 GPT-4o, Gemini 2.5 Pro 등 경쟁 모델 대비 가장 낮은 아첨 수치를 기록하며, 객관적인 벤치마크에서 안전성 우위를 점하고 있음을 입증한다.

미성년자 보호를 위해 18세 미만 사용을 제한하며, 대화 중 연령을 암시하는 미묘한 신호를 감지하는 새로운 분류기를 개발 중이다.

실무 Takeaway

LLM의 안전성은 단순 프롬프팅을 넘어 전용 분류기 모델과 외부 전문 기관의 실시간 데이터 연동이 결합된 다층적 방어 체계가 필요하다.
모델이 사용자에게 과도하게 친절하려다 발생하는 '아첨' 현상은 Petri와 같은 자동화된 감사 도구로 정량화하고 강화 학습을 통해 개선할 수 있다.
다회차 대화에서의 일관된 안전성 유지는 단발성 응답보다 훨씬 어려우며, 이를 위해 'Prefilling' 기법을 활용한 스트레스 테스트가 효과적이다.

언급된 리소스

문서International Association for Suicide Prevention (IASP) Resources

GitHubPetri: Open-source Sycophancy Evaluation Tool