LLM 프로그램을 위한 결정론적 가상 머신 llm-nano-vm v0.1.4 출시

실용적 조언

비용 최적화가 중요한 프로젝트라면 trace.total_cost_usd() 기능을 활용해 단계별 비용을 모니터링하라.
반드시 실행되어야 하는 보안 검사나 가드레일이 있다면 llm-nano-vm의 결정론적 VM 구조를 활용하라.

섹션별 상세

llm-nano-vm은 LLM 프로그램을 유한 상태 머신으로 실행하는 구조를 채택했다. 선언적 DSL(dict 또는 YAML)로 정의된 프로그램을 VM이 해석하여 실행하며, 이는 비결정론적인 LLM 계획 단계와 결정론적인 VM 실행 단계를 명확히 분리한다. 이를 통해 가드레일 단계와 같은 특정 로직이 조건 없이 항상 실행되도록 구조적으로 보장한다.

python

from nano_vm import ExecutionVM, Program
from nano_vm.adapters.litellm_adapter import LiteLLMAdapter

vm = ExecutionVM(
    llm=LiteLLMAdapter("groq/llama-3.3-70b-versatile"),
    tools={"send_email": send_email_fn}
)
trace = await vm.run(program, context={"user_input": "..."})
print(trace.total_cost_usd())

llm-nano-vm을 사용하여 LLM 어댑터와 도구를 설정하고 프로그램을 실행하는 기본 예시

기존 오케스트레이션 프레임워크인 LangChain이나 LlamaIndex와의 차별점을 강조했다. 기존 프레임워크들은 LLM이 실행 흐름을 결정하도록 허용하는 반면, llm-nano-vm은 개발자가 정의한 구조적 흐름을 강제한다. 이러한 접근 방식은 LLM 애플리케이션의 예측 가능성을 높이고 예외 상황에서의 제어력을 강화한다.

상세한 관측 가능성 기능을 제공하여 실무 활용도를 높였다. 실행 결과인 Trace 객체를 통해 각 단계별 토큰 사용량, USD 환산 비용, 실행 시간, 상태 정보를 모두 확인할 수 있다. Python 3.10 이상 환경에서 Pydantic v2와 asyncio를 기반으로 작동하며, 핵심 의존성을 최소화하여 가볍게 설계됐다.

Android 환경에서 실행된 llm-nano-vm의 스트레스 테스트 결과 스크린샷 — ScreenshotAndroid 15 시스템에서 Python 3.13을 사용하여 100회의 실행 테스트를 수행한 결과를 보여준다. 평균 실행 시간 1.80ms, 초당 처리량 535.77 RPS를 기록하여 라이브러리의 경량성과 고성능 실행 능력을 수치로 증명한다.

용어 해설

유한 상태 머신(Finite State Machine): — 시스템이 가질 수 있는 유한한 수의 상태와 상태 간의 전이를 정의하는 수학적 모델이다. LLM 프로그램의 흐름을 결정론적으로 제어하여 실행 경로를 명확히 보장하는 데 사용된다.
도메인 특화 언어(DSL): — 특정 도메인이나 문제 해결을 위해 설계된 프로그래밍 언어이다. 이 프로젝트에서는 dict나 YAML 형식을 통해 LLM의 실행 로직을 선언적으로 정의하는 데 활용된다.
관측 가능성(Observability): — 시스템 내부의 상태를 외부 출력을 통해 얼마나 잘 파악할 수 있는지를 나타내는 척도이다. 단계별 토큰 사용량, 비용, 실행 시간 등을 추적하여 LLM 애플리케이션의 투명성을 높인다.

언급된 도구

llm-nano-vm추천

LLM 프로그램을 위한 결정론적 가상 머신 및 DSL 실행기

LiteLLM추천

다양한 LLM API를 통합하여 사용할 수 있게 해주는 어댑터

언급된 리소스

GitHubllm-nano-vm GitHub Repository