vLLM: PagedAttention 기반의 고성능 LLM 추론 및 서빙 라이브러리

섹션별 상세

vLLM은 PagedAttention 알고리즘을 도입하여 LLM 추론의 병목 현상인 KV 캐시 메모리 낭비를 해결했다. 운영체제의 가상 메모리 페이징 개념을 적용하여 메모리를 불연속적인 공간에 할당함으로써 단편화를 방지하고 메모리 활용도를 극대화한다.

연속 배칭(Continuous Batching) 기술을 통해 새로운 요청이 들어올 때마다 즉시 처리 대기열에 추가하여 하드웨어 자원 가동률을 높인다. 이는 정적 배칭 방식보다 훨씬 높은 처리량을 달성하게 하며 지연 시간을 단축시킨다.

GPTQ, AWQ, INT4, INT8, FP8 등 다양한 양자화 기법을 지원하여 모델 크기를 줄이고 추론 속도를 향상시킨다. 또한 FlashAttention 및 FlashInfer와 통합된 최적화된 CUDA 커널을 사용하여 실행 효율을 높였다.

단일 GPU를 넘어 텐서 병렬화, 파이프라인 병렬화 등 다양한 분산 추론 방식을 지원한다. 이를 통해 Llama, Mixtral, DeepSeek-V3와 같은 초대형 모델도 여러 장치에 분산하여 효율적으로 실행할 수 있다.

NVIDIA GPU 외에도 AMD, Intel, Arm, TPU 등 다양한 하드웨어 가속기를 지원하며 하드웨어 플러그인 아키텍처를 갖추고 있다. OpenAI 호환 API 서버 기능을 내장하여 기존 애플리케이션의 백엔드를 손쉽게 교체할 수 있는 유연성을 제공한다.

페이지드 어텐션(PagedAttention): — 운영체제의 가상 메모리 페이징 개념을 LLM의 KV 캐시 관리에 적용한 기술이다. 메모리를 불연속적인 공간에 할당하여 단편화를 방지하고 활용도를 극대화함으로써 추론 처리량을 대폭 향상시킨다.
연속 배칭(Continuous Batching): — 모든 요청이 끝날 때까지 기다리지 않고 각 토큰 생성 단계마다 새로운 요청을 배치에 동적으로 추가하는 기술이다. 하드웨어 자원 가동률을 높여 전체적인 시스템 처리량을 최적화한다.
KV 캐시(KV Cache): — LLM 추론 과정에서 이전 토큰들의 Key와 Value 벡터를 저장해 두는 메모리 공간이다. 중복 계산을 방지하여 생성 속도를 높이지만 모델이 길어질수록 막대한 메모리를 점유하는 병목 구간이 된다.
추측적 디코딩(Speculative Decoding): — 작고 빠른 모델이 먼저 여러 토큰을 예측하고 큰 모델이 이를 한 번에 검증하는 방식이다. 큰 모델을 매번 실행하는 대신 검증 단계만 거치므로 전체적인 추론 지연 시간을 줄일 수 있다.
양자화(Quantization): — 모델의 가중치를 높은 정밀도(FP32)에서 낮은 비트(INT8, FP8 등)로 변환하는 기법이다. 모델 크기를 줄여 메모리 사용량을 절감하고 연산 속도를 가속화하는 데 필수적이다.

bash

pip install vllm

vLLM 라이브러리를 설치하는 기본 명령어