Databricks 플랫폼에서 AI 에이전트의 프롬프트 인젝션 위험을 방어하는 방법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AI 에이전트가 자율적으로 도구를 사용하고 외부와 통신하게 되면서 프롬프트 인젝션 공격의 파급력이 기하급수적으로 증가했다. 본 아티클은 민감 데이터 접근, 신뢰할 수 없는 입력 처리, 외부 상태 변경이라는 세 가지 위험 요소 중 최소 하나를 차단해야 한다는 Meta의 'Agents Rule of Two' 원칙을 제시한다. Databricks는 Unity Catalog의 세밀한 권한 관리, Mosaic AI Gateway의 가드레일, 서버리스 네트워크 정책을 통해 이 세 가지 기둥을 각각 강화하는 구체적인 보안 제어 방안을 설명한다. 이를 통해 조직은 통합 플랫폼 상에서 데이터와 모델, 런타임 실행 환경 전반에 걸친 방어 체계를 구축할 수 있다.

배경

Databricks Unity Catalog 기본 지식, LLM 프롬프트 인젝션 및 보안 취약점 개념 이해

대상 독자

Databricks 플랫폼에서 AI 에이전트를 구축하고 배포하는 보안 엔지니어 및 데이터 아키텍트

의미 / 영향

AI 에이전트의 자율성이 높아짐에 따라 발생하는 보안 공백을 플랫폼 차원의 통합 거버넌스로 해결할 수 있음을 시사한다. 이는 기업들이 보안 우려 없이 에이전트 기술을 실무에 도입하는 데 기여할 것이다.

섹션별 상세

AI 에이전트 보안의 핵심 원칙인 'Agents Rule of Two'는 민감 데이터 접근, 외부 입력 처리, 외부 통신/상태 변경이라는 세 가지 요소 중 두 가지만 허용함으로써 공격 체인을 끊는 것을 목표로 한다.

AI 에이전트의 3대 위험 요소와 이를 방어하기 위한 Databricks의 보안 제어 맵핑 다이어그램 — DiagramMeta의 'Agents Rule of Two'에서 정의한 세 가지 기둥(민감 데이터 접근, 외부 입력 처리, 외부 통신) 각각에 대응하는 Databricks의 구체적인 보안 기능(OBO 인증, 가드레일, 송신 제어 등)을 시각화하여 보여준다. 각 제어 항목이 어떤 위험을 완화하는지 한눈에 파악할 수 있게 돕는다.

Pillar 1(민감 데이터 접근) 제어를 위해 Databricks는 사용자 대행(OBO) 인증을 권장하며, 이를 통해 에이전트가 서비스 주체가 아닌 실제 사용자의 권한 범위 내에서만 데이터에 접근하도록 제한한다.

Unity Catalog의 세밀한 ACL과 속성 기반 액세스 제어(ABAC)를 활용하여 행 필터링 및 열 마스킹을 적용함으로써 에이전트가 불필요한 PII나 민감 정보에 노출되는 것을 원천 차단한다.

Pillar 2(신뢰할 수 없는 입력 처리) 대응을 위해 Mosaic AI Gateway의 가드레일을 적용하며, 실험 결과 Llama Guard와 같은 전용 모델 사용 시 프롬프트 인젝션 및 탈옥 공격 성공률을 90% 이상 낮출 수 있음을 확인했다.

Pillar 3(외부 통신 및 상태 변경) 위험을 낮추기 위해 서버리스 송신(Egress) 제어를 도입하여 에이전트가 사전에 승인된 신뢰할 수 있는 엔드포인트 및 클라우드 저장소에만 접근할 수 있도록 네트워크 정책을 강제한다.

추론 테이블(Inference Tables)과 시스템 테이블을 활용한 중앙 집중식 모니터링을 통해 가드레일 작동 여부와 비정상적인 네트워크 접근 시도를 실시간으로 감지하고 보안 운영 센터(SOC)에 알림을 보낼 수 있다.

실무 Takeaway

AI 에이전트 설계 시 'Agents Rule of Two'를 적용하여 데이터 접근, 입력 소스, 실행 권한 중 최소 하나를 엄격히 제한함으로써 공격의 파급 효과를 최소화해야 한다.
Mosaic AI Gateway의 PII 탐지 및 프롬프트 인젝션 가드레일을 활성화하면 외부 웹 콘텐츠를 처리하는 에이전트의 보안성을 90% 이상 향상시킬 수 있다.
서버리스 네트워크 정책을 통해 '기본 거부(Deny-by-default)' 포스처를 유지하고 명시적으로 허용된 도메인으로만 통신을 제한하여 데이터 유출 경로를 차단해야 한다.

언급된 리소스

문서Meta's Agents Rule of Two