이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Open Secure AI Alliance는 Linux Foundation과 함께 SAFE라는 사고 공유 프레임워크의 공개 논의를 시작했고 에이전트형 AI의 보안 사고와 근접 실패를 기밀로 수집해 영향 주체를 통지하고 반복적 통제 실패를 찾아 근거 기반 권고를 공개하려 한다. 연합 회원들은 에이전트의 아이덴티티·허니스·런타임·스킬·모델 검사 도구 등 스택 전반에 걸쳐 오픈 소스 도구를 제공해 가시성과 검증 가능성을 높이고 있다. NVIDIA는 NOOA, OpenShell, Nemotron 계열 모델과 Garak 같은 취약점 스캐너 및 NeMo 안전 도구들을 공개했고 다수 기업이 권한·허니스·탐지·복원성 툴을 기여하고 있다. 이러한 공개·공유 방식은 개별 조직의 탐지·대응을 넘어 생태계 차원의 집단 방어 능력을 끌어올린다.
섹션별 상세
에이전트형 AI가 확산되면서 단일 조직의 사고 대응만으로는 체계적 위험을 줄이기 어렵다는 문제의식이 제기되었다. Linux Foundation이 공유 AI 사고 데이터 교환체계인 SAFE의 Request for Comments를 공개했고 Open Secure AI Alliance의 회원사들이 초기 초안을 함께 준비하고 있다. SAFE 초안은 사고와 근접 실패를 기밀로 수집·분석하고 영향받은 주체를 통지하며 반복되는 통제 실패를 찾아 근거 기반 운영 권고를 공개하는 절차를 제안한다. 이런 절차는 동일한 취약점이 생태계 전반으로 확산되는 것을 막고 집단 방어 역량을 높이기 위한 기반이 된다.
근거
- Open Secure AI Alliance가 120개 이상의 조직으로 성장했고 Linux Foundation이 SAFE Request for Comments를 공유했다. — 기사 첫머리의 연혁과 RFC 공개 문구, 초기 기여자로 NVIDIA·Cisco·CrowdStrike·Hugging Face·Red Hat이 명시된 단락
- SAFE 초안은 사고와 근접 실패의 기밀 수집·분석, 영향받은 주체 통지, 반복 통제 실패 식별 및 근거 기반 운영 권고의 공개 절차를 포함한다. — SAFE가 제안하는 구체적 절차 목록이 있는 본문 초기 설명 단락
에이전트 보안은 모델 단독의 문제를 넘어 아이덴티티·허니스·런타임 가드레일·로그·평가 체계 등 스택 전반을 아우르는 과제라는 점이 핵심 상황으로 제시된다. 기사에서는 에이전트를 뇌(모델)와 몸(허니스 및 런타임)으로 비유해, 각 계층에서 요구되는 통제와 공개 가능한 도구가 무엇인지 구조적으로 정리하고 있다. 계층별로 검토 가능한 오픈 툴과 표준을 마련하면 취약점 발견과 완화 조치를 재현 가능하고 검증 가능한 형태로 확산시킬 수 있다.
NVIDIA는 스택 전체에 걸쳐 여러 오픈 소스 자원을 내놓아 투명성을 확보하려 한다. 실험·감사용 허니스인 NVIDIA Labs Object-Oriented Agent(NOOA)와 에이전트의 가시권을 제한하는 OpenShell 런타임, 에이전트용 오픈 모델군(Nemotron, Cosmos, Isaac GR00T, BioNeMo, Alpamayo) 및 서명된 에이전트 스킬 카탈로그를 통해 구성 요소별 출처·무결성·위험을 추적할 수 있게 한다. 또한 NeMo Guardrails와 NeMo Anonymizer, NeMo Safe Synthesizer는 정책 강제와 민감 데이터 보호, 프라이버시 안전 합성 데이터를 지원하고 Garak은 모델의 데이터 유출·프롬프트 인젝션·탈옥 시나리오를 사전 검사할 수 있게 만든다.
근거
- NVIDIA는 NOOA, OpenShell, Nemotron 계열 모델, NeMo Guardrails와 Garak 등 스택 전반의 오픈 소스 도구를 공개했다. — NVIDIA 기여를 열거한 중간 단락에서 각 도구와 모델 이름이 나열된 부분
아이덴티티와 권한 관리는 에이전트 보안의 전제 조건으로 다뤄진다. Okta의 Cross App Access(XAA)는 OpenShell 환경에서 에이전트가 엔터프라이즈 애플리케이션에 안전하게 연결하는 참조 구현을 보여주고 Palo Alto Networks의 Idira 유틸리티는 Agent Guard·Agent Watch 등으로 시크릿 안전 조회 같은 권한 사용 패턴을 지원한다. Red Hat이 주도한 asago 프로젝트는 NIST·OWASP·EU AI Act 같은 규정 조항을 실행 시점의 런타임 제어로 직접 매핑해 정책 조항부터 수행 기록까지 단일 감사 추적을 가능하게 만든다.
허니스와 보조 툴은 에이전트가 실제로 어떤 행동을 하는지 통제·검증하는 실무 레이어로 여러 벤더가 기여하고 있다. Amazon이 제공하는 Strands Agents와 Cedar 권한 언어는 모든 레이어에서 가시성을 제공해 프로덕션 환경에서 에이전트 행동을 평가할 수 있게 하고, Capital One의 VulnHunter와 Cloudflare의 Vulnerability Discovery Harness는 에이전트 코드와 스킬의 취약점을 찾아내는 자동화 기능을 제공한다. Microsoft의 PyRIT·RAMPART·Assert·Clarity 도구는 자동 레드팀·테스트 변환·자연어 요구사항의 실행 가능한 평가 전환을 지원해 설계 단계부터 보안 검증을 반복 가능하게 만든다.
탐지 모델·가버넌스 엔진과 복원성 도구는 운영 단계의 핵심 방어 수단으로 소개된다. Cisco의 DefenseClaw는 OpenShell 위에서 런타임 수준의 자동 보안을 제공하고 Antares 같은 소형 보안 언어 모델은 코드 내 알려진 취약점 위치를 발견하는 데 쓰인다. CrowdStrike가 NVIDIA Nemotron Nano로 수행한 내부 테스트는 조사 쿼리 생성에서 96% 정확도를 보고했고 Uber의 ADR 시스템은 프롬프트에서 도구 호출과 결과까지 에이전트 행위의 인과 사슬을 재구성해 하루에 20만 개가 넘는 세션을 지원한다고 보고되었다. LangChain의 복원성 기능과 Veeam의 Kanister 같은 데이터 보호 도구는 중단 시 상태 보존과 안전한 복구를 가능하게 해 가동 중단과 데이터 손실 리스크를 낮춘다.
근거
- Uber의 ADR는 프롬프트에서 결과까지 에이전트 행위의 인과 사슬을 재구성하며 하루 20만 개 이상의 에이전트 세션을 처리한다. — 운영 규모와 ADR의 기능을 기술한 단락, 처리량과 엔드포인트 수치가 있는 문장
용어 해설
- 에이전트형 AI(Agentic AI)
- — 스스로 결정을 내리고 도구를 호출해 작업을 수행하는 에이전트형 AI는 모델뿐 아니라 아이덴티티, 런타임, 허니스 및 로그 등 시스템 전반을 포괄하는 구조를 가진다. 공격 표면이 모델 입력뿐 아니라 에이전트가 접근하는 외부 시스템까지 확대되기 때문에 단일 지점 스캐닝만으로는 방어가 불충분하다. 따라서 단편적 취약점 대응 대신 계층별 통제와 생태계 차원의 정보 공유가 요구된다.
- OpenShell 런타임(OpenShell)
- — OpenShell은 에이전트가 볼 수 있고 건드릴 수 있는 범위를 런타임 수준에서 제한하는 샌드박스형 실행 환경이다. 런타임에서 접근 제어와 프라이버시 규칙을 적용해 에이전트가 허용되지 않은 시스템을 호출하지 못하게 막는다. 이 접근법은 에이전트 단위의 최소권한 원칙을 실현하고 외부 리소스 접근을 분석 가능하게 만든다.
- 에이전트 허니스(Agent Harness)
- — 허니스는 모델의 사고를 실제 행동으로 바꾸는 오케스트레이터로, 도구 호출, 권한 적용, 재시도와 롤백 같은 실행 흐름을 관리한다. 허니스는 에이전트가 사용하는 도구와 모델을 연결하고 행위 제약을 적용해 안전한 작업 수행을 보장한다. 허니스가 공개되고 검토 가능하면 배치 환경에서 에이전트 행동을 분석하고 반복 테스트를 자동화할 수 있다.
기술
- NVIDIA NOOA
- NVIDIA OpenShell
- NVIDIA Nemotron
- NVIDIA Garak
- NeMo Guardrails
- NeMo Anonymizer
- NeMo Safe Synthesizer
- Okta Cross App Access (XAA)
- Strands Agents
- Cedar
- VulnHunter
- PyRIT
- RAMPART
- Assert
- ADR
- LangChain
- Veeam Kanister
활용 사례
- 에이전트 사고와 근접 실패의 기밀 수집 및 생태계 공유
- 모델과 스킬의 사전 취약점 스캐닝과 서명 검증
- 정책 조항에서 런타임 권한 제어까지의 감사 가능 권한 매핑
- 에이전트 행위의 인과 추적을 통한 고신뢰 탐지와 대응
- AI 워크로드의 데이터 보호와 신속한 복구
언급된 리소스
GitHubNVIDIA Labs Object-Oriented Agent (NOOA) — GitHub
GitHubNVIDIA OpenShell runtime — GitHub
GitHubGarak LLM vulnerability scanner — GitHub
문서SAFE Request for Comments (Linux Foundation)
GitHubStrands Agents and Cedar (Amazon) — GitHub / Docs
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 04.수집 2026. 08. 04.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.