TL;DR

이 레포는 Sensor, ADR-Bench, Detector로 구성된 엔터프라이즈 AI 에이전트 보안 툴셋으로 Uber에서 프로덕션으로 운영되고 MLSys 2026에 논문이 채택되었습니다. Sensor는 여러 AI 코딩 도구와 에이전트에서 의도·툴 사용·실행 트레이스를 수집해 통합 스키마로 정규화하며, ADR-Bench는 303개 태스크와 133개 MCP 서버, 17개 공격 기법을 통해 탐지 성능을 평가할 수 있게 구성되어 있습니다. Detection은 고재현률 트리아지와 심층 에이전틱 분석을 결합한 이중 계층 구조로 위험 세션을 필터링하고 심층 검사합니다. 오픈소스 배포에는 예방 차단 모듈과 오프라인 Explorer가 제외되어 있어 완전한 차단 파이프라인을 원하면 추가 개발이 필요합니다.

핵심 포인트

• 이 레포지토리는 엔터프라이즈용 AI 에이전트 보안 시스템의 오픈소스 구현으로 Sensor, ADR-Bench, ADR Detector 세 컴포넌트를 포함합니다. 코드베이스는 Python으로 작성되어 있으며 Detection/와 Sensor/ 디렉터리에 핵심 기능이 분리되어 있어 사용자가 특정 컴포넌트만 채택하기 수월합니다. ADR은 Uber에서 프로덕션으로 운영되고 있고 관련 논문이 MLSys 2026에 채택되어 실무 적용 사례와 학술적 검증이 병행되어 있습니다.
• Sensor 컴포넌트는 Claude Code, Cursor, Codex 등 7개 이상의 AI 코딩 도구와 내부 자동화·고객지원 에이전트에서 에이전트의 의도, 툴 사용, 실행 트레이스를 캡처합니다. 수집된 텔레메트리는 통합 스키마로 정규화되어 이후 탐지기와 벤치마크 파이프라인의 입력으로 이용됩니다. macOS, Linux, Windows를 모두 지원하도록 설계되어 다양한 엔드포인트에서 관찰 데이터를 확보할 수 있습니다.
• ADR-Bench에는 303개의 벤치마크 태스크와 133개의 MCP servers가 포함되어 있으며 17가지 에이전트 공격 기법을 커버하도록 설계되어 있습니다. Detection은 높은 재현률의 트리아지 단계와 의심 세션에 대해 더 깊은 에이전틱(reasoning) 분석을 수행하는 이중 계층 구조로 위험 행위를 효율적으로 식별합니다. 재현 가능한 평가 절차는 docs/REPRODUCIBILITY.md에 정리되어 있고, Detection 폴더 안에 합성 픽스처와 기준선 스크립트가 포함되어 있습니다.
• 오픈소스 배포판에는 Prevention(행동 차단) 컴포넌트와 오프라인 ADR Explorer는 포함되어 있지 않아 즉시 차단 기능을 원하면 별도 구현이 필요합니다. Detection 디렉터리의 데이터는 방어 연구 목적의 합성 픽스처(가짜 자격증명, 에뮬레이트된 환경, 프롬프트 인젝션 시나리오)를 포함하며 관련 안전 심사 문서는 docs/OPEN_SOURCE_REVIEW.md에 수록되어 있습니다. 빠른 시작은 Detection/README.md와 REPRODUCIBILITY.md를 따르되 기본 detector는 'adr'이고 키 없는 스모크 테스트는 '--detector llamafirewall'로 가능하며 Anthropic 및 OpenAI API 키 설정이 요구됩니다.

벤치마크