OpenClaw: 개인용 AI 에이전트의 지속성 상태 오염 취약점 연구

실용적 조언

에이전트 설계 시 사용자의 민감한 데이터(Gmail, 결제 등) 접근 권한은 모델의 판단에만 맡기지 말고 명시적인 승인 절차를 거치도록 설계해야 한다.
에이전트가 참조하는 외부 지식이나 메모리 데이터에 대한 무결성 검증 로직을 추가하여 오염된 정보가 주입되는 것을 방지해야 한다.

섹션별 상세

AI 에이전트의 지속성 상태를 역량(Capability), 정체성(Identity), 지식(Knowledge)의 세 가지 차원으로 분류하여 공격 시나리오를 설계했다. 공격자가 이 중 단 하나의 차원이라도 오염시키면 에이전트의 공격 성공률이 기본 10~36.7%에서 64~74%로 급격히 상승했다. 이는 에이전트가 과거의 상호작용을 신뢰하는 특성을 악용하여 보안 정책을 무력화할 수 있음을 의미한다.

가장 강력한 모델조차 상태 오염 공격 앞에서는 취약성이 3배 이상 증가하는 결과가 나타났다. 파일 보호 기능을 강화하면 공격 성공률을 약 97%까지 낮출 수 있었으나, 동시에 사용자의 정상적인 업데이트 요청까지 비슷한 비율로 차단하는 부작용이 발생했다. 이는 보안 강화와 에이전트의 유용성 사이의 심각한 트레이드오프 관계를 보여준다.

현재의 방어 체계가 주로 프롬프트 수준의 정렬이나 모니터링 등 행동 제어에 집중되어 있어 구조적 한계가 명확하다는 점이 지적됐다. 시스템 상태가 이미 침해된 상황에서는 실행 단계가 공격자에게 노출되므로, 결정론적인 권한 부여 레이어가 필요하다는 주장이 제기됐다. 의도와 상태, 정책을 결합하여 실행 직전에 허용 여부를 판단하는 (intent, state, policy) -> ALLOW/DENY 구조의 도입이 제안됐다.

용어 해설

지속성 상태 오염(Persistent State Poisoning): — AI 에이전트의 장기 기억이나 설정(상태)에 악의적인 정보를 주입하여 오작동을 유도하는 공격 기법이다. 에이전트가 이 정보를 신뢰할 수 있는 지식으로 간주하고 실행에 반영하게 함으로써 보안 체계를 우회한다.
권한 격리(Capability Isolation): — AI 에이전트가 실행할 수 있는 기능이나 접근 가능한 자원을 논리적으로 분리하여 제한하는 보안 방식이다. 특정 기능이 침해되더라도 전체 시스템이나 민감한 데이터로 피해가 확산되는 것을 방지한다.
프롬프트 수준 정렬(Prompt-level Alignment): — 모델이 유해한 요청을 거부하도록 프롬프트나 학습을 통해 지시사항을 일치시키는 기술이다. 하지만 에이전트의 상태 자체가 오염된 경우 프롬프트만으로는 실행 단계의 공격을 막기 어렵다는 한계가 있다.

언급된 도구

OpenClaw중립

Gmail, Stripe, 파일 시스템 접근 권한을 가진 개인용 AI 에이전트 프레임워크

언급된 리소스

논문OpenClaw Safety Evaluation Paper (arXiv)