2025-2026년 AI 보안 사고 데이터 분석: 프롬프트 인젝션과 섀도우 AI의 위협

사용자들은 AI 보안의 중요성에 공감하면서도, 기존 보안 전문가들이 AI의 특성을 이해하는 데 어려움을 겪고 있다는 점에 동의했다. 실무적인 학습 자료가 부족하다는 의견이 많았다.

• OWASP Top 10 for LLM 및 Agentic AI 가이드를 참고하여 설계 단계부터 보안 체크리스트를 적용해야 한다.
• 기업 내 미승인 AI 도구 사용 현황을 파악하기 위해 CASB(Cloud Access Security Broker) 솔루션 도입을 검토해야 한다.
• AI 에이전트에게는 반드시 필요한 최소한의 권한만 부여하고, 민감한 작업 실행 전에는 인간의 승인(Human-in-the-loop) 단계를 포함시킨다.

프롬프트 인젝션(Prompt Injection)

— LLM의 입력을 조작하여 모델의 원래 지침을 무시하게 하거나 악의적인 명령을 수행하도록 유도하는 공격 기법이다. SQL 인젝션과 유사하게 데이터와 명령어가 혼재되는 특성을 이용하며, 이를 통해 민감 정보 탈취나 시스템 오작동을 유발할 수 있어 AI 보안에서 가장 시급하게 해결해야 할 과제로 꼽힌다.

섀도우 AI(Shadow AI)

— IT 부서의 공식적인 승인이나 보안 검토 없이 직원들이 업무 효율성을 위해 임의로 사용하는 AI 도구 및 서비스이다. 기업의 가시성 밖에 존재하기 때문에 민감한 기업 데이터가 외부 모델 학습에 활용되거나 유출될 위험이 크며, 최근 기업당 평균 300개 이상의 미승인 앱이 발견될 정도로 확산 속도가 빠르다.

MITRE ATLAS

— AI 시스템에 특화된 공격자의 전술, 기법 및 실제 사례를 체계적으로 정리한 글로벌 지식 베이스 프레임워크이다. 기존의 ATT&CK 프레임워크를 AI 영역으로 확장하여 보안 전문가들이 AI 모델에 대한 위협을 식별하고 방어 전략을 수립하는 데 표준적인 가이드라인을 제공하며, 실무적인 위험 평가의 핵심 도구로 활용된다.

OWASP Top 10

— 웹 애플리케이션 및 LLM, 에이전트 시스템에서 가장 빈번하고 위험한 10가지 보안 취약점을 정리한 목록이다. 오픈소스 커뮤니티인 OWASP에서 발행하며, 개발자와 보안 팀이 AI 애플리케이션을 구축할 때 반드시 점검해야 할 보안 체크리스트 역할을 한다. 특히 LLM과 에이전트 기반 시스템을 위한 전용 목록이 별도로 존재한다.

신뢰 경계(Trust Boundary)

— 데이터나 프로그램의 신뢰 수준이 변하는 지점으로, 외부 입력이 시스템 내부로 들어올 때 검증이 필요한 경계선이다. AI 시스템에서는 프롬프트가 모델로 전달되는 지점이 핵심 경계이며, 이를 명확히 관리하지 않으면 인젝션 공격에 노출될 위험이 커진다.