Arc Gate: 40가지 변칙 프롬프트 테스트에서 F1 점수 1.0을 기록한 AI 보안 게이트웨이

작성자가 직접 벤치마크 수치와 GitHub 링크를 공유하며 기술적 질문에 답변할 준비가 되어 있음을 밝혔다.

• OpenAI API를 사용하는 서비스에서 보안을 강화하고 싶다면 환경 변수 설정만으로 Arc Gate를 전면에 배치하여 사용할 수 있다.
• 우회 공격이 잦은 서비스의 경우 350ms의 지연 시간을 감수하더라도 높은 재현율을 위해 도입을 검토할 가치가 있다.

Out-of-Distribution

— 모델이 학습 과정에서 본 적 없는 새로운 형태나 패턴의 데이터를 의미한다. 보안 벤치마크에서는 일반적인 필터링을 우회하기 위해 설계된 변칙적인 공격 프롬프트를 테스트하는 데 사용된다.

Precision, Recall, F1-Score

— 모델의 분류 성능을 측정하는 지표이다. 정밀도는 탐지한 것 중 실제 공격의 비율을, 재현율은 실제 공격 중 탐지해낸 비율을 나타내며, F1 점수는 이 둘의 조화 평균으로 종합적인 성능을 의미한다.

False Positive

— 정상적인 요청을 유해한 것으로 잘못 판단하여 차단하는 현상이다. 보안 게이트웨이에서 오탐이 발생하면 사용자 경험이 저해되므로 이를 0으로 유지하는 것이 기술적 완성도의 핵심이다.