LLM Guard vs Arc Sentry: 프롬프트 인젝션 탐지 성능 비교

커뮤니티 반응

Arc Sentry의 실제 트래픽 기반 보정 방식에 대해 긍정적인 반응을 보이며, 특히 오탐률 0%라는 수치에 주목하고 있다.

01중립다수

범용 공격 데이터셋 기반 탐지기보다 실제 트래픽 기반 보정 탐지기가 운영 환경에서 더 우수하다.

LLM Guard와 Arc Sentry를 130개 프롬프트 배포 벤치마크에서 비교한 결과, Arc Sentry는 92% 탐지율과 0% 오탐률을 기록했다. 반면 LLM Guard는 70% 탐지율과 3.3% 오탐률을 보였다.

오탐률 차이가 발생하는 핵심 이유는 아키텍처의 차이다. LLM Guard는 범용 공격 데이터셋으로 학습된 분류기를 사용하지만, Arc Sentry는 실제 배포 트래픽을 기반으로 사용자의 정상적인 발화 패턴을 학습하고 기준선에서 벗어나는 프롬프트만 탐지한다.

Arc Sentry는 다회차 프롬프트 인젝션 공격인 Crescendo 공격을 2번째 턴에서 75% 신뢰도로 탐지했다. LLM Guard는 8번의 턴 동안 공격을 전혀 탐지하지 못했다.

Arc Sentry는 Mistral, Llama, Qwen 모델을 지원하며, 약 20개의 웜업 프롬프트로 보정이 가능하다. GPU는 화이트박스 레이어 처리에, CPU는 행동 기반 필터링에 사용된다.

LLM Guard중립

프롬프트 인젝션 탐지

Arc Sentry추천

프롬프트 인젝션 탐지

Arc Gate추천

프롬프트 인젝션 탐지 프록시