LLM 에이전트 런타임 안전망: state-harness

섹션별 상세

LLM 에이전트가 루프에 빠지면 토큰 사용량이 기하급수적으로 증가하여 비용이 낭비되지만, 기존의 단순 예산 제한 방식은 구체적인 실패 원인을 파악하기 어렵다.

state-harness는 리야푸노프 안정성 이론을 기반으로 에이전트의 토큰 소비를 동역학 시스템으로 모델링하여, 불안정성이 감지되는 즉시 작업을 중단하고 실패 패턴을 분류한다.

RG Decimator와 VSA 기반의 홀로그래픽 엔진을 통해 컨텍스트 압축과 정책 드리프트 감지를 수행하며, 이 모든 과정은 추가적인 LLM 호출 없이 제로 비용으로 작동한다.

SWE-bench 테스트 결과, 모니터링을 적용했을 때 베이스라인 대비 검색 노드 수를 38.6% 줄이고 작업 시간을 30% 단축했으며, 건강한 에이전트의 성능에는 영향을 미치지 않았다.

용어 해설

리야푸노프 안정성(Lyapunov Stability): — 시스템의 에너지 변화를 추적하여 평형 상태로부터의 이탈을 감지하는 제어 이론이다. 에이전트의 토큰 소비를 동역학 시스템으로 모델링하여, 불안정한 루프 현상을 수학적으로 탐지하는 데 사용된다.
벡터 심볼릭 아키텍처(VSA): — 고차원 벡터를 사용하여 기호와 의미를 표현하고 처리하는 기법이다. 에이전트의 정책 드리프트를 감지하기 위해 도메인 불변량을 고차원 벡터에 바인딩하여 상수 시간 내에 비교한다.
토큰 스파이럴(Token Spiral): — LLM 에이전트가 반복적인 루프에 빠져 토큰 사용량이 기하급수적으로 증가하는 현상이다. 비용 낭비와 작업 실패의 주요 원인이며, 적절한 모니터링 없이는 진단이 어렵다.

코드 예제

python

from state_harness import GrowthRatioGuard, FailureReport

guard = GrowthRatioGuard(token_budget=50_000)
with guard:
    for turn in agent_loop:
        result = llm.invoke(turn.prompt)
        guard.record_step(tokens_used=result.usage.total_tokens)

# What went wrong? (zero-cost, no LLM calls)
report = FailureReport.from_guard(guard)
print(report)

state-harness를 사용하여 에이전트 루프의 토큰 사용량을 모니터링하고 실패 시 보고서를 생성하는 예시 코드

기술

Python
Rust
PyO3
SWE-bench
Gemini 2.5 Flash
Ollama

활용 사례

LLM 에이전트 모니터링
토큰 비용 절감
에이전트 실패 진단

언급된 리소스

GitHubstate-harness GitHub