Anthropic의 Fable 모델 '탈옥' 논란에 대한 보안 전문가의 견해

섹션별 상세

백악관 보고서에는 Anthropic의 Fable 모델을 활용한 보안 취약점 탐지 및 패치 사례가 담겨 있다.

Fable 모델은 '보안 문제 검토'라는 직접적인 프롬프트에 거부 반응을 보였다.

코드 수정 요청 후 추가적인 수동 단계를 거쳤을 때 취약점 패치가 이루어졌다.

근거

Katie Moussouris는 이 과정을 모델의 의도된 사이버 방어 기능으로 보았다.

탈옥(Jailbreak): — AI 모델의 안전 가드레일을 우회하여 제한된 기능을 수행하게 만드는 행위. 모델이 거부하도록 설계된 요청을 프롬프트 조작을 통해 강제로 실행하게 만드는 것을 의미한다.
프롬프트(Prompt): — AI 모델에 입력하는 지시어나 질문. 모델의 응답을 유도하는 핵심 입력값으로, 프롬프트의 구성 방식에 따라 모델의 출력 결과가 달라진다.
사이버 방어(Cyberdefense): — 사이버 공격으로부터 시스템, 네트워크, 데이터를 보호하는 활동. AI 모델을 활용해 취약점을 탐지하고 패치하는 과정이 이 범주에 포함된다.