LLM 에이전트 보안 공격 및 방어 실습 플랫폼 개발

합의점 vs 논쟁점

논쟁점

Guardrail bypass 및 crescendo 공격에 대한 효과적인 방어 패턴과 UX 간의 균형

실용적 조언

모델의 정렬에 의존하지 않는 보안 테스트를 위해 결정론적 트리거 패턴을 활용할 것

섹션별 상세

기존 AI 보안 교육이 이론이나 고가의 강의 위주라는 점에 착안하여, 실무 중심의 6가지 공격 클래스(Prompt Injection, Indirect PI, System Prompt Extraction, Tool Abuse, Data Exfiltration, Jailbreaks)를 다루는 실습 플랫폼을 개발했다.

실습 환경은 Claude Haiku 모델에 결정론적 트리거 패턴을 결합하여, 모델의 정렬(alignment) 상태와 무관하게 공격 경로가 안정적으로 작동하도록 설계했다.

방어 패턴의 경우, 특히 guardrail bypass 및 crescendo 공격에 대한 방어 전략이 실무적으로 가장 구현하기 어렵고 UX와 충돌하는 지점이 많아 커뮤니티의 검증을 요청했다.

향후 로드맵으로 vector embedding poisoning, agentic memory poisoning, supply chain 공격 등을 계획 중이며, 기존 기업 내부 보안 교육의 대안으로서 실무자들의 의견을 구했다.