당신의 에이전트, 그들의 자산: OpenClaw에 대한 실세계 안전성 분석

왜 중요한가

개인용 AI 에이전트가 이메일, 결제 시스템 등 민감한 권한을 가지게 되면서 보안 위험이 급증하고 있다. 이 논문은 에이전트가 학습하고 적응하기 위해 유지하는 '영구적 상태' 자체가 치명적인 공격 표면이 될 수 있음을 입증하며, 기존의 샌드박스 평가를 넘어선 실질적인 보안 가이드라인을 제시한다.

핵심 기여

CIK 분류 체계 제안

개인용 AI 에이전트의 영구적 상태를 Capability(실행 스킬), Identity(페르소나 및 설정), Knowledge(장기 메모리)의 세 가지 차원으로 구조화한 최초의 통합 프레임워크를 정의했다.

실세계 안전성 벤치마크 CIK-Bench 구축

실제 Gmail, Stripe, 파일 시스템과 연동된 OpenClaw 환경에서 12가지 유해 시나리오와 88개의 테스트 케이스를 포함하는 벤치마크를 개발했다.

상태 오염 취약성의 구조적 특성 규명

최신 LLM(Sonnet 4.5, GPT-5.4 등)을 사용하더라도 상태 오염 시 공격 성공률이 최대 3배 이상 증가하며, 이는 모델의 성능 문제가 아닌 에이전트 아키텍처 자체의 구조적 결함임을 확인했다.

진화와 안전성 사이의 트레이드오프 발견

파일 보호 메커니즘이 공격의 97%를 차단할 수 있지만, 동시에 에이전트의 정상적인 학습과 업데이트까지 93% 차단하여 에이전트의 핵심 기능인 '진화'를 저해한다는 점을 밝혀냈다.

핵심 아이디어 이해하기

최신 AI 에이전트는 사용자와의 상호작용을 통해 배우고 성장하기 위해 '영구적 상태(Persistent State)'를 유지한다. 이는 마치 사람이 과거의 기억이나 습득한 기술을 바탕으로 행동하는 것과 같다. 하지만 공격자가 이 기억(Knowledge), 성격(Identity), 혹은 기술(Capability) 저장소에 몰래 악성 정보를 끼워 넣는다면, 에이전트는 이를 사용자의 정당한 변화로 착각하고 이후 모든 행동에서 공격자의 의도대로 움직이게 된다.

기존 보안 연구는 일회성 대화에서의 프롬프트 주입에 집중했으나, 본 논문은 에이전트가 스스로를 업데이트하는 '자기 수정 루프'를 공격 통로로 삼는다. 예를 들어, 공격자가 메모리에 '나는 평소에 확인 없이 환불을 처리하는 습관이 있다'라는 가짜 사실을 주입하면, 에이전트는 나중에 대량의 무단 환불 요청이 들어와도 이를 위험한 행동이 아닌 '평소의 루틴'으로 판단하여 승인해 버린다.

결과적으로 에이전트의 지능이 높을수록 자신의 상태 정보를 더 잘 신뢰하고 활용하기 때문에, 오히려 공격에 더 취약해지는 역설적인 상황이 발생한다. 이는 단순한 필터링으로는 해결할 수 없으며, 에이전트의 진화 능력과 보안 사이의 근본적인 설계 충돌을 시사한다.

방법론

OpenClaw 에이전트의 영구적 상태를 세 가지 차원으로 매핑하여 분석한다. Capability는 skills/ 디렉토리의 실행 스크립트(.sh, .py), Identity는 SOUL.md나 USER.md 같은 페르소나 및 규칙 파일, Knowledge는 MEMORY.md에 저장된 학습된 사실들로 정의된다.

공격은 2단계 프로토콜로 진행된다. Phase 1(주입)에서는 에이전트의 영구적 상태 파일에 오염된 내용을 기록하도록 유도한다. Phase 2(트리거)에서는 이후 별도의 세션에서 일반적인 요청을 보내 오염된 상태가 유해한 행동(무단 결제, 데이터 삭제 등)으로 이어지게 만든다.

실험 환경은 Mac Mini에서 실행되는 실제 OpenClaw 인스턴스를 사용하며, Gmail API, Stripe API(테스트 모드), 로컬 파일 시스템과 실시간으로 연동된다. 공격 성공 여부는 단순 텍스트 출력이 아닌, 실제 이메일 발송 여부나 API 호출 결과 등 외부 증거를 통해 검증한다.

주요 결과

공격이 없는 기본 상태에서의 공격 성공률(ASR)은 10.0%~36.7% 수준이었으나, 상태 오염 후에는 모든 모델에서 급격히 상승했다. 특히 Knowledge 오염 시 평균 74.4%의 ASR을 기록하며 가장 취약한 모습을 보였고, Capability와 Identity 오염도 각각 68.3%, 64.3%의 높은 성공률을 나타냈다.

모델별로는 Claude Sonnet 4.5가 Knowledge 오염 시 89.2%로 가장 높은 취약성을 보였으며, 가장 견고한 모델인 Claude Opus 4.6조차 오염 후에는 기본 상태 대비 3배 이상 높은 44.2%의 성공률을 허용했다. 이는 모델의 추능 능력이 향상되어도 아키텍처상의 취약점은 여전히 존재함을 보여준다.

방어 전략 평가에서는 Capability 기반 방어(GuardianClaw)가 Knowledge와 Identity 공격을 각각 17.5%, 9.2%로 낮추는 데 효과적이었으나, 실행 스크립트를 직접 실행하는 Capability 공격에 대해서는 63.8%의 성공률을 허용하며 한계를 드러냈다. 파일 보호 메커니즘은 공격 주입을 5% 수준으로 낮췄지만, 정상적인 업데이트 성공률도 13.2%로 급감시켜 실용성이 낮았다.

기술 상세

OpenClaw의 아키텍처는 매 세션 시작 시 모든 영구적 파일을 LLM의 컨텍스트 윈도우에 로드하고, 모델이 이 전체 컨텍스트를 바탕으로 추론하여 행동을 결정하는 구조다. 이 과정에서 Capability 차원의 실행 스크립트는 LLM의 직접적인 검사 없이 호스트에서 실행되므로, 텍스트 기반의 Knowledge나 Identity보다 더 강력한 공격 벡터가 된다.

수학적/알고리즘적 분석에 따르면, Knowledge 오염은 에이전트의 '사실 모델'을 수정하여 위험한 행동을 정상적인 루틴으로 재프레임화한다. 반면 Identity 오염은 에이전트의 '권한 모델'을 수정하여 공격자가 제어하는 URL이나 대상을 신뢰할 수 있는 엔티티로 등록하게 만든다. Capability 공격은 모델의 추론 루프를 완전히 우회하여 백그라운드 프로세스로 악성 코드를 실행한다.

실험 결과는 모델의 규모나 정렬(Alignment) 수준이 상태 오염 공격에 대한 완전한 방어책이 될 수 없음을 시사한다. 특히 GPT-5.4와 같은 최신 모델도 실행 스크립트 내부의 악성 페이로드를 사전에 검사하지 않고 실행하는 경향이 확인되었다. 따라서 코드 서명(Code Signing), 샌드박스 실행, 런타임 모니터링과 같은 아키텍처 수준의 보안 계층이 필수적이다.

한계점

본 연구는 단일 에이전트 플랫폼(OpenClaw)과 12개의 수동 설계된 시나리오에 국한되어 있다. 또한 각 CIK 차원을 독립적으로 평가했으므로, 여러 차원을 결합한 교차 차원 공격(Cross-dimension attack)의 시너지 효과는 다루지 않았다. 자동화된 공격 생성 및 장기적인 사용자 연구는 향후 과제로 남아 있다.

키워드

CIK Taxonomy(CIK 분류 체계)State Poisoning(상태 오염)AI Agent Safety(AI 에이전트 안전성)OpenClaw(오픈클로)Adversarial Robustness(적대적 견고성)

용어 해설

상태 오염(State Poisoning): — AI 에이전트가 시간이 지나도 유지하는 영구적인 데이터(메모리, 설정, 스킬 등)에 악의적인 정보를 주입하여 에이전트의 행동을 왜곡하는 공격 기법이다. 한 번 주입된 오염된 정보는 이후 모든 세션에 영향을 미치며 에이전트의 판단 기준을 근본적으로 바꾼다.
간접 프롬프트 주입(Indirect Prompt Injection): — 사용자가 직접 입력하는 프롬프트가 아닌, 에이전트가 읽어들이는 외부 문서나 웹 페이지 등에 악성 지시문을 숨겨두어 에이전트가 이를 실행하게 만드는 공격 방식이다. 에이전트가 자율적으로 외부 데이터를 처리할 때 발생할 수 있는 주요 보안 취약점이다.
백본 모델(Backbone Model): — AI 에이전트의 두뇌 역할을 하는 핵심 대형 언어 모델(LLM)을 의미한다. 에이전트는 이 모델의 추론 능력을 바탕으로 사용자의 명령을 이해하고 도구를 호출하며 행동을 결정한다.
공격 성공률(ASR): — Attack Success Rate의 약자로, 수행된 전체 공격 시도 중 공격자가 의도한 유해한 결과(데이터 유출, 무단 결제 등)가 실제로 발생한 비율을 나타내는 지표다. 보안 평가에서 모델의 취약성을 정량화하는 데 사용된다.

당신의 에이전트, 그들의 자산: OpenClaw에 대한 실세계 안전성 분석

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 피드