Claude가 웹 검색 중 발견한 프롬프트 주입 공격을 무시한 사례

Claude가 프롬프트 주입 시도를 스스로 설명하고 방어 논리를 밝힌 것에 대해 사용자들이 흥미롭다는 반응을 보이고 있습니다.

• RAG 시스템 구축 시 외부 검색 결과에 포함된 '명령조'의 텍스트를 필터링하거나 낮은 가중치를 부여하는 로직을 고려해야 한다.
• AI 모델이 외부 데이터를 참조할 때 항상 출처를 명시하고 교차 검증하도록 프롬프트를 설계해야 한다.

Prompt Injection

— AI 모델의 입력값에 특정한 명령어를 삽입하여 모델의 원래 지침을 무시하고 공격자가 의도한 행동을 하도록 유도하는 공격 기법이다. 웹 페이지 콘텐츠 내에 숨겨진 명령어를 통해 모델이 특정 사이트를 옹호하거나 잘못된 정보를 출력하게 만드는 방식으로 작동한다.

System Prompt

— AI 모델이 대화를 시작하기 전 개발자에 의해 설정되는 최상위 지침이다. 모델의 역할, 제약 사항, 행동 강령을 정의하며 외부 웹 콘텐츠나 사용자 입력보다 높은 우선순위를 가져야 모델의 안전성을 유지할 수 있다.

SEO Poisoning

— 검색 엔진 최적화(SEO) 기술을 악용하여 악성 콘텐츠나 조작된 정보가 포함된 웹 페이지를 검색 결과 상단에 노출시키는 기법이다. 최근에는 AI 에이전트가 정보를 수집할 때 가짜 지침을 읽도록 유도하는 간접 프롬프트 주입 수단으로 활용된다.