VigIA: LLM 오케스트레이션을 위한 결정론적 상태 머신

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

VigIA는 LLM을 단순한 기능적 파서로 격하시키고, 비즈니스 로직과 상태 관리를 결정론적인 유한 상태 머신(FSM)에 맡기는 아키텍처를 제안한다. 기존 LLM 에이전트가 잘못된 출력을 대화 기록에 남겨 상태를 오염시키는 문제를 해결하기 위해, 검증 실패 시 대화 기록을 롤백하고 'Cognitive Strike'를 통해 오류를 교정한다. .NET 10 Native AOT를 사용하여 메모리 안전성과 제로 리플렉션 직렬화를 구현했으며, 로컬 환경에서 지연 시간 없는 추론을 지원한다. 이를 통해 기업용 도메인 규칙을 엄격하게 준수하면서도 LLM의 추론 능력을 안전하게 활용할 수 있는 환경을 제공한다.

배경

.NET 10 SDK (Preview), 도메인 주도 설계(DDD) 및 유한 상태 머신(FSM)에 대한 이해, vLLM 또는 Ollama와 같은 로컬 LLM 추론 서버 운영 지식

대상 독자

프로덕션 환경에서 LLM의 신뢰성과 결정론적 동작을 확보하려는 백엔드 및 AI 엔지니어

의미 / 영향

이 아키텍처는 LLM을 단순한 지능형 컴포넌트로 활용하고 제어 로직을 전통적인 소프트웨어 공학 기법으로 격리함으로써, 금융이나 제조 등 엄격한 규칙 준수가 필요한 산업군에서 LLM 도입의 기술적 장벽을 낮출 수 있다.

섹션별 상세

LLM의 확률적 특성으로 인해 발생하는 상태 오염과 사용자 영합(Sycophancy) 문제를 해결하고자 한다. 기존 방식은 LLM의 잘못된 출력이 대화 기록에 누적되어 복구 불가능한 상태로 빠지는 병목 현상이 존재했다. VigIA는 LLM의 권한을 제한하고 .NET 기반의 오케스트레이터가 모든 페이로드를 가로채어 결정론적으로 검증한다. 이를 통해 비즈니스 규칙이 누락되거나 도메인 경계가 침범되는 것을 원천적으로 차단한다.

Structured State Vector(SSV)와 스냅샷 롤백 메커니즘을 통해 컨텍스트 윈도우 오염을 방지한다. 대화 기록에서 상태 정보를 제거하고 불변의 SSV를 통해 글로벌 컨텍스트를 유지하며, 성공적으로 해결된 데이터만 프롬프트에 주입한다. 만약 LLM이 유효하지 않은 출력을 생성하면 InvariantEnforcer가 이를 감지하고 즉시 이전 상태로 롤백한다. 이러한 구조는 LLM이 자신의 과거 오류를 학습 데이터로 오인하는 것을 방지하여 시스템의 안정성을 보장한다.

근거

VigIA는 LLM의 환각이나 도메인 경계 위반 시 페이로드를 가로채고 대화 기록을 롤백한다. — Introduction 및 Section 3: Snapshot Rollbacks

3단계의 엄격한 실행 흐름을 통해 도메인 규칙 준수를 강제한다. 먼저 Judge 에이전트가 사용자 입력의 도메인 이탈이나 회피 여부를 평가하고, 승인 시 Synthesizer LLM이 데이터의 완전성을 분석한다. 마지막으로 FSM Interceptor가 Gherkin 시나리오와 DDD 인베리언트를 기준으로 최종 결과물을 검증한다. 사용자가 질문을 회피하거나 LLM이 3회 연속 검증에 실패할 경우 시스템을 하드 블록(Hard Block)하여 무결성을 유지한다.

VigIA 오케스트레이터의 실행 과정을 보여주는 터미널 데모 애니메이션 — ScreenshotGemma 4 엔진과 .NET 10 런타임 환경에서 재고 관리 시스템의 아티팩트를 처리하는 과정을 보여준다. FSM이 도메인을 평가하고 LLM에 제어권을 넘기며, 데이터를 추출하는 결정론적 흐름을 시각적으로 확인할 수 있다.

근거

사용자 회피나 LLM 검증 실패가 3회 연속 발생하면 시스템을 하드 블록한다. — Section 3: The 3-Strike[NACK] Rule

.NET 10 Native AOT를 채택하여 프로덕션 수준의 성능과 메모리 안전성을 확보했다. 소스 생성기를 통한 제로 리플렉션 JSON 직렬화와 Result 모나드를 활용한 오류 처리를 구현하여 런타임 예외를 최소화했다. 모든 상태 전이는 수학적으로 구별되는 벡터를 생성하여 장기 세션에서도 메모리 누수를 방지한다. 이는 파이썬 기반의 가변 딕셔너리 구조보다 훨씬 견고한 엔지니어링 기반을 제공한다.

근거

.NET 10 Native AOT를 사용하여 제로 리플렉션 및 메모리 안전성을 구현했다. — Section 4: Why .NET 10 Native AOT?

용어 해설

FSM: — 시스템이 가질 수 있는 유한한 상태와 그 상태 간의 전이를 정의하는 수학적 모델이다. LLM의 확률적 출력을 제어하기 위해 결정론적 규칙을 강제하여 시스템의 예측 가능성을 높이는 역할을 한다.
Native AOT: — 애플리케이션을 실행 시점이 아닌 빌드 시점에 기계어로 직접 컴파일하는 기술이다. 런타임 오버헤드를 줄여 시작 속도를 높이고 메모리 사용량을 최적화하여 엣지 환경에서 고성능 추론을 가능하게 한다.
DDD: — 비즈니스 도메인의 복잡성을 해결하기 위해 소프트웨어를 도메인 모델 중심으로 설계하는 방법론이다. 이 프로젝트에서는 LLM이 비즈니스 규칙(인베리언트)을 위반하지 않도록 검증하는 경계로 활용된다.
Monad: — 함수형 프로그래밍에서 값과 그 값을 다루는 문맥을 캡슐화하는 구조이다. 여기서는 Result 모나드를 사용하여 예외 대신 컴파일 타임에 모든 실패 케이스를 명시적으로 처리하도록 강제한다.

언급된 리소스

GitHubVigIA-Orchestrator GitHub Repository