AI 에이전트의 소스 코드 삭제를 방지하는 런타임 보안 레이어 Zerofalse

실용적 조언

AI 에이전트의 도구 호출 함수에 Python 데코레이터를 적용하여 실행 직전 인자 검증
5ms 미만의 지연 시간을 목표로 하여 보안 검증으로 인한 사용자 경험 저해 최소화

섹션별 상세

기존 보안 도구의 한계: 입력 유효성 검사와 출력 필터링만으로는 정교한 프롬프트 인젝션을 완벽히 차단하기 어렵다. 공격용 프롬프트가 겉보기에 정상적이거나 LLM의 응답이 일반적인 형식을 갖춘 경우 필터링을 우회하여 최종적으로 도구가 실행되는 시점에야 위협이 드러난다. 작성자는 실제 사례에서 rm -rf 명령이 아무런 경고 없이 실행되어 소스 코드가 소실되는 과정을 확인했다. 이처럼 실행 단계 이전의 검증만으로는 에이전트의 자율적 행동을 완전히 통제할 수 없음을 시사했다.

런타임 도구 호출 가로채기(Interception): Zerofalse는 Python 데코레이터 패턴을 사용하여 도구가 실제로 실행되기 직전의 인자를 검사한다. @guard_tool 데코레이터를 함수에 적용하면 에이전트가 생성한 명령어나 인자가 실제 시스템 호출로 이어지기 전에 보안 검사를 거치게 된다. 이를 통해 에이전트가 src 폴더의 모든 파일 삭제와 같은 명령을 생성하더라도 실행 단계에서 즉시 차단된다. 이는 에이전트의 의사결정 결과가 시스템에 영향을 미치기 전 마지막 방어선을 구축하는 방식이다.

python

@tool
@guard_tool(agent_id="my-agent")
def run_command(cmd: str) -> str:
    return subprocess.check_output(cmd, shell=True)

Zerofalse 데코레이터를 사용하여 도구 호출을 보호하는 예시 코드

방어 범위 및 성능: 이 시스템은 쉘 인젝션, 자격 증명 유출(AWS 키, GitHub 토큰), 권한 없는 에이전트 간 위임, Base64 인코딩 공격 등을 탐지한다. 모든 탐지 프로세스는 5ms 미만의 지연 시간으로 처리되어 실시간 에이전트 워크플로에 미치는 영향을 최소화했다. LangChain, CrewAI, MCP 등 주요 프레임워크와 호환되어 기존 인프라 변경 없이 도입 가능하다. 실무 환경에서 보안과 성능 사이의 균형을 맞추는 데 중점을 두었다.

용어 해설

프롬프트 인젝션(Prompt Injection): — LLM에 입력되는 프롬프트에 악의적인 지시사항을 삽입하여 모델이 원래 의도와 다른 동작을 수행하게 만드는 공격 기법이다. 공격자가 시스템 명령어를 실행하게 하거나 민감 정보를 유출하도록 유도할 수 있어 에이전트 보안의 핵심 과제이다.
런타임 보안(Runtime Security): — 프로그램이 실행 중인 상태에서 실시간으로 위협을 감지하고 차단하는 보안 방식으로, 정적 분석으로 잡기 힘든 동적 위협에 대응한다. AI 에이전트가 생성한 명령이 실제 시스템에 영향을 주기 직전에 검증을 수행하여 피해를 예방한다.
데코레이터(Decorator): — Python에서 기존 함수의 코드를 수정하지 않고 기능을 추가하거나 수정할 때 사용하는 문법으로, 보안 필터링을 적용하기에 적합하다. 함수 호출 전후에 특정 로직을 삽입할 수 있어 도구 실행 차단기를 구현하는 데 효율적이다.
쉘 인젝션(Shell Injection): — 응용 프로그램의 입력값에 운영체제 명령어를 삽입하여 서버 권한을 탈취하거나 시스템을 파괴하는 공격 방식이다. AI 에이전트가 subprocess 등을 통해 시스템 명령을 실행할 때 가장 빈번하게 발생하는 보안 취약점 중 하나이다.

언급된 도구

Zerofalse추천

AI 에이전트 런타임 보안

LangChain중립

AI 프레임워크

CrewAI중립

멀티 에이전트 프레임워크

MCP중립

모델 컨텍스트 프로토콜