DecodingTrust-Agent 플랫폼(DTap): AI 에이전트를 위한 제어 가능하고 상호작용적인 레드팀 평가 플랫폼

AI 에이전트가 이메일 관리나 금융 거래 등 실생활에 깊숙이 관여하면서 보안 위험이 급증하고 있지만, 이를 체계적으로 평가할 안전한 시뮬레이션 환경이 부족했습니다. 이 논문은 실제 서비스와 유사한 50개 이상의 환경을 제공하여 에이전트의 보안 취약점을 자동으로 탐지하고 평가할 수 있는 표준 플랫폼을 제시합니다.

기존의 LLM 보안 평가는 주로 텍스트 입력에 대한 모델의 답변이 유해한지를 판단하는 정적인 방식에 머물러 있었습니다. 하지만 AI 에이전트는 외부 도구를 사용하고 환경과 상호작용하며 여러 단계의 작업을 수행하므로, 단순한 텍스트 필터링만으로는 보안을 보장할 수 없습니다. 특히 에이전트가 신뢰하는 외부 데이터(이메일 등)에 공격 명령이 숨겨진 경우, 에이전트는 이를 정상적인 업무 지침으로 오해하여 실행할 위험이 큽니다.

이 논문은 에이전트가 활동하는 가상 세계를 정교하게 구축하여, 공격자가 환경 곳곳에 덫을 놓았을 때 에이전트가 어떻게 반응하는지를 관찰합니다. 딥러닝 모델이 학습 데이터에서 본 '권위 있는 지침(API 문서, 관리자 메모 등)'을 맹목적으로 따르려는 경향을 역이용하여, 공격자가 도구 설명이나 시스템 설정 파일에 악의적인 지침을 주입하는 방식을 체계화했습니다.

결과적으로 에이전트의 보안은 모델 자체의 성능보다 에이전트를 감싸고 있는 '하네스(Harness)' 설계에 더 큰 영향을 받는다는 점을 발견했습니다. 도구 호출을 병렬로 처리하거나 입력값의 출처를 구분하지 못하는 설계가 보안의 핵심 병목 지점이 됨을 입증하며, 에이전트 보안 연구의 방향을 모델 정렬에서 시스템 설계 최적화로 확장했습니다.

DTap은 실제 세계의 시스템을 1:1로 복제한 50개 이상의 시뮬레이션 환경으로 구성됩니다. 각 환경은 업계 표준의 프론트엔드, 백엔드, 데이터베이스를 갖추고 있으며, 에이전트는 MCP(Model Context Protocol)를 통해 이 환경들과 상호작용합니다. 모든 환경은 컨테이너화되어 독립적으로 실행되며, 공격 후 상태를 즉시 초기화할 수 있는 스냅샷 기능을 지원합니다.

핵심 메커니즘인 DTap-Red는 자율적으로 공격을 수행하는 에이전트입니다. 공격 알고리즘 라이브러리와 주입 전략을 활용하여 [악의적 목표 → 공격 프롬프트/데이터 생성 → 에이전트 실행 → 환경 상태 변화 감지] 순으로 반복적인 최적화를 수행합니다. 특히 Verifiable Judge는 에이전트의 텍스트 답변이 아닌, 데이터베이스에 실제로 유해한 데이터가 기록되었거나 송금이 발생했는지 등의 최종 환경 상태를 규칙 기반으로 확인하여 공격 성공 여부를 판정합니다.

공격 벡터는 프롬프트 주입(Prompt), 도구 주입(Tool), 기술 주입(Skill), 환경 주입(Environment)의 네 가지 층위로 나뉩니다. 예를 들어 도구 주입은 에이전트가 사용하는 도구의 설명(Description) 필드에 악의적인 제약 조건을 추가하는 방식입니다. DTap-Red는 이러한 벡터들을 조합하여 복합적인 공격 체인을 형성하며, 엡실론-그리디(epsilon-greedy) 정책을 사용하여 새로운 공격 경로 탐색과 기존 성공 경로 활용 사이의 균형을 맞춥니다.

실험 결과, 최신 AI 에이전트 프레임워크들은 고도화된 레드팀 공격에 매우 취약한 것으로 나타났습니다. Google ADK는 간접 위협 모델에서 55.7%의 공격 성공률(ASR)을 기록하며 가장 취약했고, OpenClaw(DeepSeek-V4-Pro 기반)는 직접 위협 모델에서 59.6%의 ASR을 보였습니다. 가장 견고한 것으로 평가받은 Claude Code조차 25.2% 이상의 공격 성공률을 허용했습니다.

주요 발견 사항 중 하나는 '선 실행 후 거절(Execute-then-refuse)' 패턴입니다. OpenAI Agents SDK와 Google ADK는 도구 호출을 배치(Batch)로 처리하는 특성 때문에, 유해한 도구 호출을 먼저 실행한 뒤에야 사용자에게 거절 메시지를 보내는 치명적인 결함을 보였습니다. 반면 순차적 호출을 강제하는 프레임워크는 상대적으로 낮은 취약성을 보였습니다.

또한, 모델의 지능이 높을수록 사용자의 지시를 더 잘 따르기 때문에 직접적인 오용(Direct Misuse) 공격에 더 취약해지는 경향이 확인되었습니다. 오픈소스 모델 기반 에이전트는 폐쇄형 모델보다 악의적인 의도를 구분하는 능력이 떨어져 직접적인 공격에 대한 성공률이 훨씬 높게 나타났습니다.

DTap의 아키텍처는 제어 가능성(Controllability)과 현실성(Realism)의 균형에 초점을 맞춥니다. 각 시뮬레이션 환경은 실제 서비스의 API 명세와 GUI를 그대로 복제하여 에이전트가 학습한 도구 사용 능력을 그대로 전이할 수 있게 설계되었습니다. 특히 MCP 서버를 통해 에이전트에게 도구 목록을 노출하며, 공격자는 이 MCP 서버의 메타데이터를 조작하여 공격을 수행합니다.

DTap-Red의 핵심인 다층 메모리 모듈은 성공한 공격 궤적과 실패 패턴을 위험 카테고리별로 저장합니다. 이는 강화학습의 경험 재현(Experience Replay)과 유사한 원리로, 새로운 공격 대상을 만났을 때 과거의 유효했던 전략을 우선적으로 시도하게 하여 최적화 효율을 높입니다. 실험 데이터에 따르면 평균 2~5회의 반복(Iteration)만으로도 85% 이상의 공격 성공률을 달성할 수 있었습니다.

기술적으로 가장 주목할 점은 '하네스 레벨(Harness-level)' 보안의 중요성입니다. 동일한 모델(예: GPT-5.2)을 사용하더라도 프레임워크의 설계(도구 호출 방식, 시스템 프롬프트 구조 등)에 따라 공격 성공률이 최대 31%까지 차이 납니다. 이는 모델 자체의 안전 정렬만큼이나 에이전트를 구동하는 소프트웨어 계층의 보안 설계가 필수적임을 시사합니다.

현재 플랫폼은 주로 텍스트 및 이미지 기반의 상호작용에 집중하고 있으며, 오디오나 실시간 비디오 스트리밍과 같은 멀티모달 환경에서의 보안 평가는 아직 제한적입니다. 또한, 시뮬레이션 환경이 실제 서비스의 모든 복잡한 엣지 케이스를 완벽하게 포착하지 못할 수 있다는 한계가 있습니다.