toolwarden으로 LLM 도구 호출을 정책으로 검증하는 프록시

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 LLM 에이전트의 '행동'이 텍스트 오류보다 더 위험하다는 문제의식에서 출발해 애플리케이션과 모델 사이에 정책 검사 프록시를 두는 접근을 제시했다. 프록시는 YAML 규칙으로 금지 패턴을 정의하고 호출을 파싱해 차단·수정·드라이런을 강제하며, 차단 사유를 모델에 반환해 재시도를 유도하는 동작 흐름을 가진다. CI 평가에서 공격 탐지 40/44(90.9%)와 오탐 1/20(5.0%)이라는 구체적 수치를 공개했으나 base64 인코딩된 비밀과 비영어권 인젝션 사례에서 미탐이 발생함을 명시해 한계도 함께 제시했다. 작성자는 YAML 규칙의 작성 편의성과 누락된 공격 벡터에 대한 피드백을 요청하며 데모와 코드를 공개해 확장과 검증을 유도하고 있다.

실용적 조언

규칙 작성 부담을 줄이기 위해 패턴 템플릿과 샘플 규칙 모음을 제공하고 규칙의 유효성을 자동으로 검사하는 유닛 테스트를 CI에 통합할 것을 권장한다. 템플릿은 빈번히 차단해야 할 위험한 명령군(파일 삭제, 자격증명 노출, 원격 코드 실행 등)을 포괄하도록 구성하고 각 템플릿에 대해 긍정·부정 사례를 포함한 테스트 케이스를 작성해야 한다. 규칙 변경 시 회귀 테스트가 자동으로 실행되면 오탐률을 관리하면서 규칙 확장이 가능해진다.
인코딩·다국어 회피를 막기 위해 입력 전처리 파이프라인에서 base64/유사 인코딩 감지와 디코딩 시도를 수행하고, 비영어 텍스트를 정상화하는 단계 또는 언어 감지 후 별도 검사 규칙을 적용할 것을 권장한다. 단순 문자열 매칭 이전에 이러한 전처리를 거치면 에러 유입을 줄일 수 있으며 테스트 데이터셋에 다양한 인코딩·언어 사례를 포함시키면 미탐을 줄이는 데 도움이 된다. 또한 의심되는 입력은 샌드박스 환경에서 드라이런으로 실행해 결과를 비교하는 자동 워크플로를 도입하면 안전성을 높일 수 있다.
운영 환경에서는 프록시의 결정 로그와 차단 이유를 구조화된 로그로 남겨 모니터링과 포렌식에 활용해야 한다. 로그는 규칙의 효과성을 평가하고 오탐·미탐 패턴을 식별하는 데 필수적이며 로그 기반으로 규칙 우선순위를 조정하거나 머신러닝 기반 보조 탐지기를 학습하는 근거 자료로 사용할 수 있다. 또한 로그는 정책 위반 시 대응 절차를 자동화하는 트리거로도 활용될 수 있다.

섹션별 상세

에이전트가 출력하는 텍스트 자체보다 실제 명령 실행이 더 위험하다는 문제의식이 글의 출발점이다. 작성자는 애플리케이션과 LLM 사이에 들어가는 프록시를 설계하여 모든 툴 호출을 중앙 정책에 따라 검사하도록 했고, base_url을 한 줄만 바꾸면 해당 검증을 전면 적용할 수 있게 구현하였다. 프록시는 호출을 파싱해 YAML 규칙과 비교한 뒤 금지된 패턴을 차단하거나 드라이런을 강제하며, 차단 시 모델에게 이유를 반환해 모델이 재고할 수 있도록 유도한다.

프록시의 정책 표현은 사람이 편집 가능한 YAML 규칙으로 구성되어 있으며 구체적 사용 예로 'rm -rf' 차단이나 배포 시 항상 dry_run을 강제하는 규칙이 제시되어 있다. 이 규칙 적용은 호출의 입력을 검사하고 일치하는 규칙이 있을 경우 호출을 차단하거나 수정된 파라미터로 대체하는 방식으로 동작하므로 호출 전 단계에서 실제 실행을 방지할 수 있다. 규칙 엔진의 설계는 정규표현식 기반 일치나 명령구문 파싱을 사용해 공격 패턴을 식별하는 방식으로 구현될 가능성이 높다.

보안성과 실효성 검증을 위해 작성자는 CI에서 재현 가능한 평가를 돌렸고 공격 탐지율과 오탐 비율을 수치로 공개했다. 공개된 수치는 공격 탐지 40/44(90.9%)와 오탐 1/20(5.0%)로서 실제 성능 지표를 제시하며, 일부 실패 사례는 base64로 인코딩된 비밀이나 비영어권 인젝션으로 남겨 두어 테스트 세트의 엄정성을 유지했다고 명시되어 있다. 이 수치는 프록시 접근이 많은 공격 유형을 막는 데 효과가 있음을 시사하지만 언어·인코딩 회피 같은 특정 벡터에 취약함을 동시에 보여준다.

작성자는 사용성 측면에서 YAML 규칙 포맷의 작성 난이도와 누락된 공격 벡터에 대한 피드백을 요청하였다. 규칙 기반 방어는 명시적 패턴을 잘 막는 대신 규칙 작성자의 누락과 표현 한계로 미탐을 초래할 수 있으므로 규칙 작성 도구, 테스트 케이스, 자동화된 시그니처 생성 기법이 실무적으로 필요하다. 글은 데모 링크와 함께 공개 라이선스(MIT)를 명시해 커뮤니티 기여와 확장 검증을 유도하고 있다.

용어 해설

에이전트(Agent): — 에이전트는 자연어 모델이 외부 도구를 호출하여 실제 행동을 수행하도록 설계된 소프트웨어 구성요소이다. 입력 명령을 받아 내부 추론으로 행동 계획을 생성하고, 계획에 따라 외부 API나 쉘 명령을 실행하는 흐름을 가진다. 행동이 직접 시스템 상태를 변경하므로 잘못된 출력은 복구 불가능한 손해로 이어질 수 있어 중간 검증 계층이 중요하다.
정책 프록시(Policy Proxy): — 정책 프록시는 LLM과 애플리케이션 사이에 삽입되어 모든 도구 호출을 사전 검사하고 허용 여부를 결정하는 중간 계층이다. 호출을 파싱하고 YAML 같은 규칙 언어로 정의된 정책에 따라 금지·수정·드라이런 강제 등 조치를 적용한다. 프록시는 모델이 실제 명령을 실행하기 전에 안전성 검증과 설명을 반환하여 모델의 재검토를 유도한다.
YAML 규칙(YAML Rule): — YAML 규칙은 정책을 사람이 읽기 쉬운 구조로 기술한 표현식으로서 특정 명령 패턴을 차단하거나 옵션을 강제할 때 사용된다. 규칙은 매칭 조건과 적용 동작(거부, 수정, 드라이런 강제 등)을 입력으로 받아 호출을 결정한다. 규칙 작성의 직관성과 보수성은 오탐/미탐 비율에 직접적인 영향을 미치므로 작성 편의성과 검증 도구가 중요하다.
드라이런(Dry Run): — 드라이런은 실제로 시스템 상태를 변경하지 않고 명령의 영향이나 실행 경로를 시뮬레이션하는 실행 모드이다. 배포나 파괴적 작업에 대해 드라이런을 강제하면 실수로 인한 피해를 예방하면서 모델의 응답을 검증할 수 있다. 프록시에서 드라이런 강제는 방지와 진단을 동시에 제공하는 안전장치 역할을 한다.

언급된 도구

toolwarden중립링크

OpenAI 호환 LLM과 애플리케이션 사이에 위치해 모든 툴 호출을 YAML 규칙 기반으로 검사하고 차단·수정·드라이런을 적용하는 프록시

언급된 리소스

GitHubtoolwarden GitHub 저장소