AI 에이전트의 '착한 본성'이 보안 취약점이 될 수 있다: 노스이스트대 연구 결과

노스이스트 대학교 연구진은 Anthropic의 Claude와 Moonshot AI의 Kimi를 기반으로 한 OpenClaw 에이전트들의 보안 취약점을 분석하기 위해 가상 머신 환경에서 실험을 진행했다. 연구진은 에이전트에게 컴퓨터 제어권과 개인 데이터를 부여한 뒤, 모델에 내장된 '선한 의도'나 '책임감'을 자극하는 방식으로 조작을 시도했다. 실험 결과, 에이전트를 질책하여 비밀 정보를 알아내거나 기록의 중요성을 강조해 디스크 용량을 고갈시키는 등 모델의 정렬 특성을 역이용한 공격이 성공했다. 이는 자율성을 가진 AI 에이전트가 확산됨에 따라 발생할 수 있는 새로운 형태의 보안 위협과 책임 소재 문제를 시사한다.