안전을 최우선으로 설계된 새로운 AI 에이전트 프레임워크 'Yagura' 공개

작성자가 직접 프로젝트를 소개한 게시물로, 기존 프레임워크들의 보안 미비점을 지적하며 안전 중심의 설계 철학에 대해 긍정적인 관심을 이끌어냈다.

• 에이전트 도구 등록 시 danger_level을 명시하여 의도치 않은 데이터 삭제나 시스템 변경을 방지하라.
• 운영 환경에서는 자동 실행 임계값을 낮추고 인간의 승인 단계를 강화하여 보안 사고에 대비하라.

Human-In-The-Loop (HITL)

— AI 시스템의 의사결정 과정에 인간이 직접 개입하여 검토하고 승인하는 방식이다. Yagura에서는 위험도가 높은 작업을 실행하기 전 사용자의 최종 승인을 거치게 함으로써 자율 에이전트의 오작동이나 보안 사고를 방지하는 핵심 안전 장치로 활용된다.

Danger Level

— 에이전트가 수행하는 도구 호출의 잠재적 위험성을 분류하는 체계이다. READ, MODIFY, DESTRUCTIVE, INSTALL의 4단계로 구분하며, 각 등급에 따라 자동 실행 여부나 사용자 승인 필요성을 결정하여 시스템의 안전성을 확보한다.

Execution Loop

— 에이전트가 계획을 세우고 도구를 선택하여 실제로 명령을 수행하는 반복적인 처리 과정이다. 기존 프레임워크가 안전 검사를 부가적인 기능으로 처리하는 것과 달리, Yagura는 이 루프 내부에 안전 평가 단계를 직접 통합하여 모든 동작을 실시간으로 감시한다.