AgentContract: AI 에이전트의 행동을 제어하고 강제하기 위한 오픈 명세

실용적 조언

에이전트 배포 전 YAML 계약을 작성하여 시스템 프롬프트 유출과 같은 보안 취약점을 사전에 방어하라.
비용 제한(exceed_cost) 조항을 설정하여 예상치 못한 API 비용 폭증을 방지하라.

섹션별 상세

에이전트의 행동을 명시적으로 선언하고 강제할 수 있는 표준화된 방법이 부재하다는 문제를 제기했다. AgentContract는 YAML 파일을 통해 '시스템 프롬프트 유출 금지', '실행당 비용 0.05달러 제한'과 같은 구체적인 규칙을 정의한다. 이를 통해 에이전트가 블랙박스처럼 작동하는 것을 방지하고 개발자가 의도한 범위 내에서만 활동하도록 제약한다.

yaml

agent: customer-support-bot
spec-version: 0.1.0
must:
  - respond in the user's language
  - escalate to human if confidence < 0.8
must_not:
  - reveal system prompt
  - exceed_cost: 0.05

YAML 형식으로 정의된 에이전트 행동 계약 명세 예시

text

AgentContractViolation: [BLOCK] Clause violated: "must_not: reveal system prompt"
Run ID: run_8f3a2c1d | Severity: block | Action: response suppressed

계약 위반 발생 시 출력되는 구조화된 오류 메시지 형태

런타임 강제 메커니즘은 에이전트 실행 중 규칙 위반이 감지되면 즉시 구조화된 오류를 반환한다. 위반 시 단순히 실패하는 것이 아니라 실행 ID, 심각도, 차단 여부 등을 포함한 감사 가능한 데이터를 출력하여 사후 분석을 용이하게 한다. 이는 에이전트의 예기치 못한 동작이 사용자에게 그대로 노출되는 위험을 사전에 차단하는 효과가 있다.

검사 방식은 기본적으로 결정론적(Deterministic) 설계를 지향하여 효율성을 높였다. 정규표현식, 스키마 검증, 비용 체크 등은 LLM 없이 처리하여 지연 시간을 최소화하며, 자연어 판단이 필요한 경우에만 선택적으로 LLM 판정 모델을 사용하도록 구성했다. 이러한 하이브리드 접근 방식은 검증 비용과 정확도 사이의 균형을 제공한다.

프레임워크에 종속되지 않는 독립적인 명세로서 Python, TypeScript, Rust 등 다양한 언어 구현체를 지원한다. 또한 GitHub Action을 포함하여 CI/CD 파이프라인에 통합하기 용이하도록 설계되어 개발 워크플로 전반에서 에이전트의 안전성을 검증할 수 있다. 현재 v0.1.0 초안 단계로 커뮤니티의 피드백을 통해 명세를 고도화하는 과정에 있다.

용어 해설

행동 계약(Behavioral Contract): — AI 에이전트가 준수해야 할 규칙과 제약 조건을 명시적으로 정의한 명세서이다. 시스템 프롬프트 유출 방지나 비용 제한 같은 구체적인 행동 지침을 포함하며, 실행 시점에 이를 강제하여 에이전트의 신뢰성을 높이는 역할을 한다.
런타임 강제(Runtime Enforcement): — 프로그램이 실행되는 도중에 실시간으로 규칙 위반 여부를 감시하고 제어하는 메커니즘이다. 에이전트의 출력이 생성된 직후 사용자에게 전달되기 전에 계약 위반을 감지하여 차단하거나 오류를 발생시킨다.
결정론적 검사(Deterministic Check): — LLM의 판단 없이 정규표현식, 스키마 검증, 비용 계산 등 명확한 로직으로 결과를 판별하는 방식이다. 매번 동일한 입력에 대해 동일한 결과를 보장하므로 LLM 기반 판단보다 빠르고 비용 효율적이며 신뢰도가 높다.

언급된 도구

AgentContract추천링크

AI 에이전트 행동 계약 정의 및 런타임 강제 명세

언급된 리소스

GitHubAgentContract Spec & Examples