상태 변경 에이전트 시스템을 위한 결정론적 FSM 런타임 설계

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM의 직접적인 상태 변경 실행 위험을 방지하기 위해 결정론적 FSM 기반의 nano-vm 런타임을 설계하고 적용한 사례.

LLM이 직접 외부 상태를 변경하는 에이전트 시스템의 운영상 위험을 해결하기 위해, 추론과 실행 권한을 분리한 결정론적 FSM 런타임인 nano-vm을 개발하여 커뮤니티의 의견을 구했다.

에이전트 시스템의 운영 안정성을 위해 LLM의 추론과 실제 실행 권한을 분리하는 아키텍처가 필요하다. 특히 금융이나 데이터 변경이 수반되는 워크플로우에서는 결정론적 제어 계층과 감사 가능한 정책 설계가 필수적이다.

기존 에이전트 런타임은 LLM이 직접 도구를 호출하여 사이드 이펙트를 발생시키는데, 이는 결제나 DB 수정 등 상태 변경이 필요한 작업에서 운영상 예측 불가능성을 초래한다.

이를 해결하기 위해 추론과 실행 권한을 분리한 결정론적 FSM 런타임인 nano-vm을 구축했다. 모델은 행동을 제안하고, 런타임은 상태 전이와 사이드 이펙트를 제어한다.

정책 계층은 파이썬보다 제한적인 결정론적 AST 서브셋을 사용하여 루프나 시스템 콜을 제거함으로써 감사 가능성을 높였다.

장애 시나리오 테스트를 위해 권한 없는 도구 주입, 해시 손상 등을 시뮬레이션하는 Sabotage Mode를 도입했다.

GDPR 준수를 위해 불변 감사 체인을 유지하면서도 개인정보 삭제 요청을 처리할 수 있도록 볼트 참조를 묘비(tombstone)로 대체하는 방식을 사용했다.

FSM: — 유한한 개수의 상태를 가질 수 있는 오토마타. 에이전트 런타임에서 결정론적 상태 전이를 보장하여, LLM의 예측 불가능한 행동을 제어하고 실행 흐름을 명확히 정의하는 데 사용된다.
AST: — 소스 코드의 구조를 트리 형태로 표현한 것. 이 아티클에서는 정책 계층의 표현력을 제한하고 결정론적 실행을 보장하기 위해, 파이썬 전체가 아닌 제한된 AST 서브셋만을 허용하는 방식으로 구현되었다.
Idempotency: — 연산을 여러 번 적용해도 결과가 달라지지 않는 성질. 에이전트가 사이드 이펙트를 발생시키는 작업에서 재시도나 오류 발생 시 시스템 상태를 안전하게 유지하기 위해 필수적인 설계 요소이다.
MCP: — AI 모델과 외부 데이터 및 도구 간의 연결을 표준화하는 프로토콜. 에이전트 시스템에서 도구 호출과 컨텍스트 전달을 일관된 방식으로 처리하기 위해 사용된다.

nano-vm중립

결정론적 FSM 기반의 에이전트 런타임

MCP중립

에이전트 연결 프로토콜