안전을 최우선으로 설계된 새로운 AI 에이전트 프레임워크 'Yagura' 공개

실용적 조언

에이전트 도구 등록 시 danger_level을 명시하여 의도치 않은 데이터 삭제나 시스템 변경을 방지하라.
운영 환경에서는 자동 실행 임계값을 낮추고 인간의 승인 단계를 강화하여 보안 사고에 대비하라.

섹션별 상세

모든 도구 호출을 검증하기 위해 3단계 DangerAssessor 시스템을 도입했다. 1단계는 규칙 기반으로 Gmail 검색은 READ, 전송은 DESTRUCTIVE로 분류하여 90%의 작업을 처리하며, 2단계는 LLM이 의도를 분석하고, 3단계는 불확실할 경우 기본적으로 파괴적 작업으로 간주하여 중단한다. 이러한 계층적 접근을 통해 비용 효율성과 보안성을 동시에 확보했다.

도구의 위험도를 READ, MODIFY, DESTRUCTIVE, INSTALL의 4단계로 세분화하여 관리한다. 읽기 전용 작업은 즉시 자동 실행되지만, 위험도가 높은 작업은 반드시 사용자의 승인을 거치도록 설계했다. 특히 동일한 도구라도 개발 환경과 운영 환경에 따라 서로 다른 위험 등급을 부여할 수 있는 환경 인식 기능을 갖췄다.

python

from yagura import Agent, Config, Tool, DangerLevel
from yagura.llm import AnthropicProvider

agent = Agent(config=Config(
    planner_llm=AnthropicProvider(model="claude-sonnet-4-20250514")
))

agent.register_tool(Tool(
    name="list_files",
    description="List files in a directory",
    parameters={"type": "object", "properties": {"directory": {"type": "string"}}},
    handler=lambda directory: __import__("os").listdir(directory),
    danger_level=DangerLevel.READ,
))

response = asyncio.run(agent.run("What files are in my home directory?"))

Yagura 에이전트를 생성하고 도구에 위험 등급(DangerLevel.READ)을 할당하여 등록하는 기본 예시

기존 프레임워크인 LangChain, CrewAI 등과 비교했을 때 실행 루프 내 네이티브 안전 장치와 도구별 위험 등급 설정 기능에서 차별점을 가진다. LangChain이 안전을 추가 기능(Add-on)으로 처리하거나 다른 프레임워크들이 콜백 방식에 의존하는 것과 달리, Yagura는 인프라 수준에서 안전을 강제한다. 현재 26개의 패키지와 188개 이상의 도구 생태계를 구축하여 확장성도 확보했다.

용어 해설

인간 참여형 루프(Human-In-The-Loop (HITL)): — AI 시스템의 의사결정 과정에 인간이 직접 개입하여 검토하고 승인하는 방식이다. Yagura에서는 위험도가 높은 작업을 실행하기 전 사용자의 최종 승인을 거치게 함으로써 자율 에이전트의 오작동이나 보안 사고를 방지하는 핵심 안전 장치로 활용된다.
위험 등급(Danger Level): — 에이전트가 수행하는 도구 호출의 잠재적 위험성을 분류하는 체계이다. READ, MODIFY, DESTRUCTIVE, INSTALL의 4단계로 구분하며, 각 등급에 따라 자동 실행 여부나 사용자 승인 필요성을 결정하여 시스템의 안전성을 확보한다.
실행 루프(Execution Loop): — 에이전트가 계획을 세우고 도구를 선택하여 실제로 명령을 수행하는 반복적인 처리 과정이다. 기존 프레임워크가 안전 검사를 부가적인 기능으로 처리하는 것과 달리, Yagura는 이 루프 내부에 안전 평가 단계를 직접 통합하여 모든 동작을 실시간으로 감시한다.

언급된 도구

Yagura추천링크

안전 중심의 AI 에이전트 실행 프레임워크 및 인프라

AnthropicProvider중립

Claude 모델을 Yagura 에이전트의 플래너로 사용하기 위한 프로바이더

언급된 리소스

GitHubYagura GitHub Repository