Totem — 로컬 LLM 변조(모델 교체, 스티어링 공격, 가드레일 제거) 감지 오픈소스 프록시

로컬 LLM 보안에 대한 새로운 접근 방식에 대해 긍정적인 반응을 얻고 있으며, 특히 성능 저하 없는 감지 메커니즘에 대한 관심이 높다.

• 로컬 LLM을 서비스에 연동할 때 Totem 프록시를 앞단에 두어 모델 스왑이나 공격을 실시간으로 감시할 수 있다.
• 제공된 run_experiment.sh 스크립트를 통해 실제 스티어링 공격 시 감지 성능을 직접 테스트해볼 수 있다.

• Totem은 Ollama나 vLLM 등 OpenAI 호환 백엔드와 앱 사이에서 모델 변조를 실시간으로 감지하는 보안 계층 역할을 한다.
• 비동기 프로브 주입 방식을 통해 실제 추론 성능에 영향을 주지 않으면서도 모델의 행동 변화를 지속적으로 모니터링한다.
• 모델의 초기 정상 상태를 암호화된 매니페스트로 저장하고, 이를 기준으로 스티어링 공격이나 가드레일 우회를 감지하면 시스템을 즉시 차단한다.