rvLLM: Rust로 구현한 고성능 LLM 추론 엔진

섹션별 상세

Python 기반 vLLM의 성능 병목인 GIL과 가비지 컬렉션 문제를 Rust의 소유권 모델로 해결했다. Python은 수천 개의 요청 처리 시 스케줄링 루프가 단일 스레드에 갇히지만, Rust는 모든 코어에서 병렬 처리가 가능하다. 이를 통해 예측 불가능한 GC 중단 없이 결정론적인 메모리 해제를 보장하며 추론 지연 시간의 변동성을 제거했다.

자원 효율성 측면에서 500MB에 달하던 vLLM 바이너리를 단 16MB의 정적 바이너리로 압축했다. PyTorch나 Transformers 같은 무거운 의존성 없이 cuBLAS와 CUDA 커널을 직접 호출하여 런타임 오버헤드를 최소화했다. 결과적으로 CPU 메모리 사용량은 약 1GB에서 348MB로, 시작 시간은 120초에서 6초로 대폭 단축되어 클라우드 네이티브 환경에 최적화됐다.

근거

바이너리 크기는 16MB로 vLLM의 500MB 대비 약 31배 작아졌다. — Metric 비교 표 (Binary size)
시작 시간은 약 6초로 vLLM의 120초 대비 20배 빨라졌다. — Metric 비교 표 (Startup time)

A100 80GB GPU에서 Qwen2.5-1.5B 모델을 벤치마크한 결과, 동시 요청 수(N)가 늘어날수록 성능 우위가 뚜렷해졌다. N=32 환경에서 rvLLM은 6,385 tok/s를 기록하며 vLLM의 5,405 tok/s보다 약 18%에서 최대 27%까지 빠른 속도를 보였다. 특히 CPU에서 수행되는 샘플링 및 로짓 처리 작업은 Rust 최적화를 통해 Python 대비 최대 24배까지 빨라져 전체 처리량을 끌어올렸다.

근거

rvLLM은 N=32 환경에서 Python vLLM 0.11.0보다 27% 더 높은 성능을 기록했다. — Benchmarks (Qwen2.5-1.5B, A100 80GB SXM4) 섹션 및 서두 요약

15개의 수동 작성된 CUDA 커널을 통해 PagedAttention V2, FlashAttention-2 등 핵심 알고리즘을 구현했다. cudarc를 사용하여 런타임에 PTX 커널을 로드하며, CUDA 그래프 캡처 및 재생 기능을 지원하여 커널 실행 간의 오버헤드를 줄였다. FP16 전체 포워드 패스를 지원하여 데이터 타입 변환 없이 순수하게 반정밀도 연산을 수행함으로써 GPU 연산 효율을 극대화했다.

OpenAI 호환 API를 완벽히 구현하여 기존 클라이언트 라이브러리와의 호환성을 유지했다. OpenAI Python 클라이언트, LiteLLM, LangChain 등에서 base_url만 변경하면 즉시 rvLLM 서버를 사용할 수 있다. 스트리밍, 채팅 완성, 모델 목록 조회 등 주요 엔드포인트가 모두 작동하며 Llama, Mistral, Qwen2 등 10가지 이상의 주요 모델 아키텍처를 지원한다.

bash

./target/release/rvLLM serve \
  --model Qwen/Qwen2.5-1.5B \
  --port 8000 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.90

rvLLM 서버를 실행하여 모델을 서빙하는 명령어 예시

python

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")
response = client.chat.completions.create(
    model="Qwen/Qwen2.5-1.5B",
    messages=[{"role": "user", "content": "Write a haiku about Rust"}],
    max_tokens=50,
)
print(response.choices[0].message.content)

OpenAI Python 클라이언트를 사용하여 rvLLM 서버에 요청을 보내는 예시

용어 해설

전역 인터프리터 잠금(GIL (Global Interpreter Lock)): — Python 인터프리터가 한 번에 하나의 스레드만 실행하도록 제한하는 메커니즘이다. 이는 멀티코어 환경에서도 병렬 처리를 방해하여 LLM 스케줄링과 같은 CPU 집약적 작업에서 성능 병목을 유발하는 주요 원인이 된다.
페이지드 어텐션(PagedAttention): — 운영체제의 가상 메모리 관리 기법을 KV 캐시에 적용하여 메모리 단편화를 방지하는 기술이다. 불연속적인 메모리 공간에 KV 캐시를 할당함으로써 메모리 활용도를 높이고 더 많은 동시 요청을 처리할 수 있게 한다.
CUDA 그래프(CUDA Graph): — GPU 연산의 흐름을 미리 기록하여 실행 시점의 오버헤드를 줄이는 기술이다. CPU가 GPU에 커널을 하나씩 명령하는 대신 전체 연산 그래프를 한 번에 실행함으로써 통신 지연을 최소화하고 추론 속도를 높인다.
연속 배치(Continuous Batching): — 새로운 요청이 들어올 때 기존 배치가 완료될 때까지 기다리지 않고 즉시 배치에 합류시키는 기법이다. 요청마다 생성되는 토큰 수가 다른 LLM의 특성을 고려하여 GPU 가동률을 극대화하고 대기 시간을 줄인다.
FP8 KV 캐시(FP8 KV Cache): — KV 캐시 데이터를 8비트 부동소수점 형식으로 양자화하여 저장하는 방식이다. 메모리 점유율을 절반으로 줄여 더 긴 컨텍스트를 처리하거나 더 큰 배치를 구성할 수 있게 하며 메모리 대역폭 병목을 완화한다.

코드 예제

bash

cargo install rvllm
# 또는 PyPI를 통해 설치
pip install rvllm

rvLLM을 설치하는 방법

기술

Rust
CUDA
cuBLAS
cudarc
Rayon
Axum
SafeTensors

활용 사례

고성능 LLM API 서버
경량화된 에지 디바이스 LLM 추론
빠른 확장이 필요한 서버리스 LLM 서비스

언급된 리소스

GitHubrvLLM GitHub Repository

논문rvLLM Technical Report (LaTeX)