Tokio-Prompt-Orchestrator: Rust 기반의 고성능 LLM 추론 오케스트레이터

섹션별 상세

RAG, 어셈블, 추론, 후처리, 스트리밍의 5단계로 구성된 비동기 파이프라인을 구축하여 각 단계에 유한 채널을 통한 백프레셔를 적용했다.

rust

use tokio_prompt_orchestrator::{Pipeline, PipelineConfig, EchoWorker, InferenceRequest};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let config = PipelineConfig::default();
    let worker = EchoWorker::new();
    let pipeline = Pipeline::new(config, worker).await?;

    let req = InferenceRequest::new("Explain backpressure in one sentence.");
    let response = pipeline.infer(req).await?;
    println!("{}", response.text);
    Ok(())
}

Rust 라이브러리 형태로 오케스트레이터 파이프라인을 구축하고 추론을 실행하는 기본 예시

시맨틱 데두플리케이션 레이어를 통해 에이전트 간 중복 컨텍스트를 감지하고 단일 추론 호출로 병합하여 API 비용을 최대 74%까지 절감했다.

텔레메트리 버스와 이상 탐지기를 포함한 자가 개선 루프가 백그라운드에서 실행되며 PID 제어를 통해 12개의 파이프라인 파라미터를 실시간으로 자동 튜닝한다.

5회 실패 시 열리고 80% 성공 시 닫히는 서킷 브레이커와 지수 백오프 재시도 기능을 통해 외부 API 장애에 대한 강력한 회복 탄력성을 제공한다.

나노초 단위의 처리 속도를 보장하는 Rust로 작성되었으며, 7.6MB 크기의 단일 실행 파일로 배포되어 의존성 없이 모든 환경에서 즉시 실행 가능하다.

NATS와 Redis를 활용한 분산 클러스터링을 지원하여 여러 노드 간의 중복 제거와 리더 선출, 작업 할당을 효율적으로 관리한다.

json

{
  "mcpServers": {
    "orchestrator": {
      "url": "http://127.0.0.1:8080"
    }
  }
}

Claude Desktop에서 오케스트레이터를 MCP 서버로 연결하기 위한 설정 파일 구성

python

import requests
r = requests.post("http://127.0.0.1:8080/v1/prompt", json={"input": "Summarise this codebase"})
print(r.json()["text"])

Python 스크립트에서 오케스트레이터의 웹 API를 호출하여 추론 결과를 받아오는 방법

용어 해설

백프레셔(Backpressure): — 데이터 처리 속도가 유입 속도를 따라가지 못할 때 상류 시스템에 부하를 알리고 데이터 흐름을 제어하는 메커니즘이다. 시스템 붕괴를 방지하고 안정적인 처리를 보장하는 데 필수적이다.
서킷 브레이커(Circuit Breaker): — 외부 서비스 호출 실패가 반복될 때 추가적인 호출을 즉시 차단하여 시스템 자원을 보호하는 설계 패턴이다. 일정 시간이 지나면 상태를 확인하여 자동으로 복구하며 연쇄 장애를 방지한다.
중복 제거(Deduplication): — 동일하거나 유사한 요청을 식별하여 중복된 처리를 생략하는 기술이다. LLM 추론에서는 반복되는 컨텍스트를 병합하여 API 비용과 지연 시간을 획기적으로 줄이는 역할을 한다.
PID 제어기(PID Controller): — 비례, 적분, 미분 요소를 사용하여 목표값과 현재값의 오차를 계산하고 시스템을 제어하는 피드백 루프다. 이 아티클에서는 파이프라인 파라미터를 실시간으로 자동 튜닝하는 데 사용된다.
모델 컨텍스트 프로토콜(MCP): — LLM 에이전트가 외부 도구, 데이터 소스 및 서비스와 표준화된 방식으로 통신할 수 있도록 Anthropic에서 제안한 개방형 프로토콜이다. 에이전트의 확장성을 높여준다.

기술

Rust
Tokio
Claude API
NATS
Redis
Ratatui

활용 사례

대규모 에이전트 함대 관리
실시간 LLM 추론 파이프라인
비용 최적화 RAG 시스템

언급된 리소스

GitHubtokio-prompt-orchestrator GitHub Repository