오픈소스 LLM을 위한 내부 상태 기반 프롬프트 주입 탐지기 Arc Sentry 공개

실용적 조언

자체 호스팅 중인 Llama나 Mistral 모델의 보안을 강화하고 싶다면 pip install arc-sentry로 탐지기를 도입할 수 있다.
RAG 시스템에서 사용자 입력의 안전성을 검증할 때 텍스트 분류기 대신 모델 내부 상태 기반 도구를 검토해야 한다.

섹션별 상세

Arc Sentry는 모델의 generate() 함수가 호출되기 전 잔차 스트림을 읽어 정보 기하학의 불안정성을 측정한다. 텍스트를 단순히 분류하는 대신 모델 자체가 공격으로 인해 불안정한 상태로 유도되는지를 직접 파악하는 방식이다. 130개의 SaaS 배포 데이터셋 벤치마크에서 92%의 탐지율과 0%의 오탐율을 기록하며 기술적 우위를 입증했다. 이는 기존 텍스트 기반 탐지기가 놓치는 기하학적 공격 패턴을 포착할 수 있음을 의미한다.

기존 도구인 LLM Guard와의 비교 실험에서 아키텍처 차이에 따른 성능 격차가 확인됐다. LLM Guard는 동일 데이터셋에서 70% 탐지율과 3.3%의 오탐율을 보였으나 Arc Sentry는 더 높은 정확도를 유지했다. 특히 한 번에 한 턴씩만 보면 무해해 보이는 Crescendo 다회차 조작 공격에 대해 LLM Guard는 8건 중 하나도 잡지 못했으나 Arc Sentry는 이를 성공적으로 차단했다. 이는 모델의 내부 상태 변화를 추적하는 것이 지능적 공격 방어에 필수적임을 시사한다.

용어 해설

잔차 스트림(Residual Stream): — Transformer 아키텍처 내부에서 각 레이어를 거치며 정보가 누적되고 전달되는 통로이다. 모델이 입력을 처리할 때의 내부 상태를 직접 관찰할 수 있어 텍스트 패턴 분석보다 깊은 수준의 이상 징후 포착이 가능하다.
프롬프트 주입(Prompt Injection): — 사용자의 입력이 모델의 원래 지시사항을 무시하거나 우회하도록 설계된 공격 기법이다. 시스템 프롬프트를 탈취하거나 모델이 금지된 행동을 하도록 유도하는 보안 위협을 의미한다.
오탐(False Positive): — 정상적인 입력을 공격이나 오류로 잘못 판단하여 차단하는 현상이다. 보안 시스템에서 오탐율이 낮을수록 정상적인 서비스 운영에 방해를 주지 않으면서 안전성을 확보할 수 있다.
다회차 공격(Multi-turn Attack): — 단일 입력으로는 무해해 보이지만 여러 번의 대화를 통해 점진적으로 모델의 가드레일을 무너뜨리는 공격 방식이다. Crescendo 공격이 대표적이며 개별 문맥만 보는 탐지기로는 막기 어렵다.

코드 예제

bash

pip install arc-sentry

Arc Sentry 라이브러리를 설치하는 명령어

언급된 도구

Arc Sentry추천

모델 내부 잔차 스트림 분석 기반 프롬프트 주입 탐지

LLM Guard중립

입력 텍스트 분류 기반 LLM 보안 도구

언급된 리소스

GitHubArc Sentry GitHub Repository