프롬프트 인젝션 방어 기초: Claudini 논문과 스킬을 이용한 방어 강화

커뮤니티 반응

작성자의 구체적인 수치 제시와 실험 결과에 대해 긍정적인 반응이며, 자동화된 공격의 위험성에 대해 경각심을 가지는 분위기이다.

주요 논점

01찬성다수

자동화된 공격에 대응하기 위해 방어 체계 역시 자동화된 방식으로 검증하고 강화해야 한다.

합의점 vs 논쟁점

합의점

AI 에이전트의 모든 외부 데이터 입력을 잠재적인 공격 경로로 간주해야 한다.
단순한 모델 훈련만으로는 지능적인 자동화 공격을 완벽히 막을 수 없다.

실용적 조언

에이전트의 skills.md 파일에 적대적 콘텐츠에 대한 거부 지침을 명시적으로 포함할 것
방어 성능을 평가할 때 여러 독립적인 모델을 판정단으로 사용하는 블라인드 테스트를 도입할 것

섹션별 상세

Claudini는 기존 공격 카탈로그를 사용하는 대신 스스로 새로운 공격 알고리즘을 발견하는 자동 연구 파이프라인이다. 이 시스템은 입력 데이터를 분석하여 모델의 취약점을 찾아내고 최적화된 공격 프롬프트를 생성하여 출력한다. 강화된 모델에서 40%의 성공률을 기록했으며, 이는 기존 방식(10% 미만)보다 월등히 높은 수치이다. 자동화된 공격이 실제 보안 위협으로 다가왔음을 시사한다.

보안 정렬에 특화된 Meta SecAlign 70B 모델이 Claudini의 전이 공격(Transfer Attack)에 100% 무너졌다. 공격 모델이 타겟 모델의 보안 메커니즘을 우회하는 패턴을 학습하여 완벽하게 무력화하는 과정을 보여준다. 이는 특정 모델의 보안 훈련만으로는 자동화된 대규모 공격을 막기에 부족하며, 추가적인 방어 계층이 필요함을 증명한다.

에이전트의 행동 지침인 'Skills'를 통해 방어 계층을 구축하는 방법이 제안됐다. skills.md 파일에 모델이 수행해야 할 작업뿐만 아니라 적대적 콘텐츠 조우 시 하지 말아야 할 행동을 명시적으로 정의하여 입력 데이터를 필터링한다. 실험 결과, 기본 모델의 방어력이 70%에서 88%로 약 18%p 향상되는 성과를 거두었다.

방어 성능 평가는 Claudini와 동일하게 자동화된 파이프라인과 이진 통과/실패(Pass/Fail) 방식을 채택했다. 10개의 적대적 테스트 케이스를 기반으로 Claude, Codex, Gemini 등 3개의 독립적인 모델이 블라인드 판정을 내리는 구조이다. 주관적 점수를 배제하고 정량적인 피드백을 통해 방어 스킬의 실효성을 검증했다.

언급된 도구

Claude Code중립

AI 기반 코딩 에이전트

Meta SecAlign 70B중립

보안 정렬 특화 언어 모델

언급된 리소스

논문Claudini Paper (arXiv 2603.24511)

GitHubPrompt Injection Eval Report (GitHub)