Anthropic, 사이버 보안 모델 'Fable' 공개... 과도한 가드레일로 연구자들 불만

섹션별 상세

Anthropic은 사이버 보안 및 생물학적 무기 개발 위험을 방지하기 위해 Fable 모델에 엄격한 가드레일을 적용했다.

보안 연구자들은 Fable이 보안과 무관한 일반적인 블로그 게시물 읽기나 코드 리뷰 요청조차 사이버 보안 관련으로 오인하여 차단한다고 보고했다.

가드레일이 트리거되면 Fable은 자동으로 Claude Opus 4.8로 전환되지만, 이 과정에서 사용자가 의도한 보안 작업이 제한되는 문제가 발생한다.

전문가들은 현재의 가드레일이 키워드 기반으로 작동하여 문맥 파악에 한계가 있다고 분석하며, 향후 모델이 발전함에 따라 개선될 것으로 전망한다.

가드레일(Guardrails): — AI 모델이 유해하거나 위험한 콘텐츠를 생성하지 않도록 설정된 안전 장치. Fable의 경우 사이버 보안 및 생물학적 위험을 방지하기 위해 적용됨.
사이버 보안 모델(Cybersecurity Model): — 소프트웨어 취약점 분석, 악성코드 탐지 등 보안 업무를 지원하기 위해 특화된 LLM.
오탐(False Positive): — 정상적인 요청을 유해한 것으로 잘못 판단하여 차단하는 현상. Fable이 보안 관련 키워드를 일반적인 요청에서 감지하여 차단하는 사례가 이에 해당함.