LLM 에이전트 런타임 안전망: state-harness

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 에이전트가 루프에 빠져 토큰 사용량이 급증하는 현상을 방지하기 위한 런타임 안전망 라이브러리이다. 리야푸노프 안정성 이론을 적용해 에이전트의 에너지 변화를 추적하고, 불안정성을 감지하면 즉시 작업을 중단하며 실패 원인을 진단한다. 추가적인 LLM 호출 없이 제로 비용으로 작동하며, 컨텍스트 압축과 정책 드리프트 감지 기능을 제공한다. SWE-bench 등 다양한 벤치마크에서 건강한 에이전트에는 영향을 주지 않으면서 실패한 작업의 비용과 컴퓨팅 자원을 효율적으로 절감함이 확인됐다.

대상 독자

LLM 에이전트 기반 프로덕션 시스템을 운영하는 개발자 및 연구원

의미 / 영향

이 라이브러리는 LLM 에이전트의 운영 안정성을 높이고 비용 낭비를 방지하는 표준화된 진단 도구로 활용될 수 있다. 특히 복잡한 검색 트리 기반 에이전트에서 발생하는 비용 폭주 문제를 해결하여 프로덕션 환경의 신뢰성을 확보하는 데 기여한다.

섹션별 상세

LLM 에이전트가 루프에 빠지면 토큰 사용량이 기하급수적으로 증가하여 비용이 낭비되지만, 기존의 단순 예산 제한 방식은 구체적인 실패 원인을 파악하기 어렵다.

state-harness는 리야푸노프 안정성 이론을 기반으로 에이전트의 토큰 소비를 동역학 시스템으로 모델링하여, 불안정성이 감지되는 즉시 작업을 중단하고 실패 패턴을 분류한다.

RG Decimator와 VSA 기반의 홀로그래픽 엔진을 통해 컨텍스트 압축과 정책 드리프트 감지를 수행하며, 이 모든 과정은 추가적인 LLM 호출 없이 제로 비용으로 작동한다.

SWE-bench 테스트 결과, 모니터링을 적용했을 때 베이스라인 대비 검색 노드 수를 38.6% 줄이고 작업 시간을 30% 단축했으며, 건강한 에이전트의 성능에는 영향을 미치지 않았다.

용어 해설

Lyapunov Stability: — 시스템의 에너지 변화를 추적하여 평형 상태로부터의 이탈을 감지하는 제어 이론이다. 에이전트의 토큰 소비를 동역학 시스템으로 모델링하여, 불안정한 루프 현상을 수학적으로 탐지하는 데 사용된다.
VSA: — 고차원 벡터를 사용하여 기호와 의미를 표현하고 처리하는 기법이다. 에이전트의 정책 드리프트를 감지하기 위해 도메인 불변량을 고차원 벡터에 바인딩하여 상수 시간 내에 비교한다.
Token Spiral: — LLM 에이전트가 반복적인 루프에 빠져 토큰 사용량이 기하급수적으로 증가하는 현상이다. 비용 낭비와 작업 실패의 주요 원인이며, 적절한 모니터링 없이는 진단이 어렵다.

코드 예제

python

from state_harness import GrowthRatioGuard, FailureReport

guard = GrowthRatioGuard(token_budget=50_000)
with guard:
    for turn in agent_loop:
        result = llm.invoke(turn.prompt)
        guard.record_step(tokens_used=result.usage.total_tokens)

# What went wrong? (zero-cost, no LLM calls)
report = FailureReport.from_guard(guard)
print(report)

state-harness를 사용하여 에이전트 루프의 토큰 사용량을 모니터링하고 실패 시 보고서를 생성하는 예시 코드

언급된 리소스

GitHubstate-harness GitHub