Databricks 플랫폼에서 AI 에이전트의 프롬프트 인젝션 위험을 방어하는 방법

섹션별 상세

AI 에이전트 보안의 핵심 원칙인 'Agents Rule of Two'는 민감 데이터 접근, 외부 입력 처리, 외부 통신/상태 변경이라는 세 가지 요소 중 두 가지만 허용함으로써 공격 체인을 끊는 것을 목표로 한다.

AI 에이전트의 3대 위험 요소와 이를 방어하기 위한 Databricks의 보안 제어 맵핑 다이어그램 — DiagramMeta의 'Agents Rule of Two'에서 정의한 세 가지 기둥(민감 데이터 접근, 외부 입력 처리, 외부 통신) 각각에 대응하는 Databricks의 구체적인 보안 기능(OBO 인증, 가드레일, 송신 제어 등)을 시각화하여 보여준다. 각 제어 항목이 어떤 위험을 완화하는지 한눈에 파악할 수 있게 돕는다.

Pillar 1(민감 데이터 접근) 제어를 위해 Databricks는 사용자 대행(OBO) 인증을 권장하며, 이를 통해 에이전트가 서비스 주체가 아닌 실제 사용자의 권한 범위 내에서만 데이터에 접근하도록 제한한다.

Unity Catalog의 세밀한 ACL과 속성 기반 액세스 제어(ABAC)를 활용하여 행 필터링 및 열 마스킹을 적용함으로써 에이전트가 불필요한 PII나 민감 정보에 노출되는 것을 원천 차단한다.

Pillar 2(신뢰할 수 없는 입력 처리) 대응을 위해 Mosaic AI Gateway의 가드레일을 적용하며, 실험 결과 Llama Guard와 같은 전용 모델 사용 시 프롬프트 인젝션 및 탈옥 공격 성공률을 90% 이상 낮출 수 있음을 확인했다.

Pillar 3(외부 통신 및 상태 변경) 위험을 낮추기 위해 서버리스 송신(Egress) 제어를 도입하여 에이전트가 사전에 승인된 신뢰할 수 있는 엔드포인트 및 클라우드 저장소에만 접근할 수 있도록 네트워크 정책을 강제한다.

추론 테이블(Inference Tables)과 시스템 테이블을 활용한 중앙 집중식 모니터링을 통해 가드레일 작동 여부와 비정상적인 네트워크 접근 시도를 실시간으로 감지하고 보안 운영 센터(SOC)에 알림을 보낼 수 있다.

용어 해설

프롬프트 인젝션(Prompt Injection): — LLM에 악의적인 입력을 주입하여 모델의 원래 지침을 무시하고 공격자가 의도한 동작을 수행하게 만드는 공격 기법이다. 에이전트 환경에서는 외부 데이터를 읽는 과정에서 발생하는 간접 인젝션 위험이 특히 크다.
사용자 대행 인증(OBO Authentication): — 서비스 계정이 아닌 실제 사용자의 자격 증명을 사용하여 API를 호출하는 방식이다. 에이전트가 과도한 권한을 가지는 것을 방지하고 사용자의 기존 권한 범위 내에서만 작동하도록 제한하는 핵심 보안 메커니즘이다.
속성 기반 액세스 제어(ABAC): — 사용자의 부서, 지역, 직책 등 속성에 따라 데이터 접근 권한을 동적으로 결정하는 방식이다. 정적인 그룹 기반 제어보다 세밀한 보안 정책 적용이 가능하여 민감 정보 노출을 효과적으로 차단한다.
개인정보 탐지(PII Detection): — 이름, 이메일, 전화번호 등 개인을 식별할 수 있는 정보를 자동으로 찾아내어 마스킹하거나 차단하는 기술이다. 모델의 입출력 단계에서 가드레일로 작동하여 데이터 유출 사고를 예방한다.
송신 제어(Egress Control): — 내부 네트워크에서 외부 인터넷으로 나가는 트래픽을 감시하고 승인된 목적지로만 제한하는 보안 조치이다. 에이전트가 탈취한 데이터를 공격자의 서버로 전송하는 것을 물리적으로 차단하는 역할을 한다.

기술

Databricks
Unity Catalog
Mosaic AI Gateway
MLflow
Llama Guard

활용 사례

고객 지원 에이전트
자동화된 데이터 분석
소셜 미디어 모니터링

언급된 리소스

문서Meta's Agents Rule of Two