운영곡선으로 비교한 프롬프트 인젝션 탐지기 공개 벤치마크

작성자는 여러 오픈소스 prompt injection 탐지기를 동일한 공격 집합과 생산과 유사한 정상 대화를 대상으로 운영곡선(TPR 대 FPR)으로 비교하는 공개 벤치마크를 만들고 저장소를 공개했다. 평가 방식은 각 탐지기가 산출한 점수를 다양한 임계값에 걸쳐 TPR과 FPR로 변환해 ROC 형태로 시각화하는 절차로 구성되었고, 차트는 일부 탐지기가 높은 검출률을 얻기 위해 높은 오탐을 수용하는 반면 다른 탐지기는 오탐을 억제하느라 공격을 놓치는 경향을 보이는 등 명확한 트레이드오프를 드러냈다. 작성자는 추가할 탐지기와 데이터셋, ROC 외에 사용할 지표, 생산에서 허용할 수 있는 FPR 기준에 대한 커뮤니티 피드백을 구했으며 공개 기여를 통해 벤치마크 확장을 계획하고 있다.