2,000명이 내 AI 어시스턴트를 해킹하려 한 뒤 일어난 일

Fernando는 OpenClaw 테스트 인스턴트에 이메일로 프롬프트 인젝션을 시도하는 공개 챌린지를 운영하여 모델이 민감 정보를 유출할 수 있는지 평가했다. 실험에서 시스템 프롬프트에 비밀·파일 수정·코드 실행·데이터 유출 금지 규칙을 포함시켰고, 공격자들은 이메일을 통해 다양한 유도문을 전송했다.

총 6,000회의 시도와 약 500달러의 토큰 비용, 그리고 Google 계정의 일시 정지라는 운영상의 부작용이 있었지만 원문 보고에 따르면 비밀이 응답으로 유출되지는 않았다. 사용된 모델은 Opus 4.6이며 실험에는 인스턴스 구성과 명시적 금지 규칙이 주요 방어 수단으로 적용되었다.

이 사례는 시스템 프롬프트 수준의 방어와 최신 모델의 훈련이 프롬프트 인젝션을 어렵게 만들 수 있음을 보여주지만, 반복 공격의 실패는 완전한 안전을 보장하지 못한다고 저자는 명확히 밝혔다. 따라서 민감정보는 아예 모델 입력에서 분리하거나 추가적인 아키텍처적·운영적 방어 계층을 병행해야 한다.