vLLM에서 Qwen 3.5 프롬프트 재처리 속도를 높이는 최적화 설정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

vLLM 0.17.0의 새로운 캐시 및 성능 모드 설정을 활용하여 Qwen 3.5 모델의 긴 문맥 처리 시 발생하는 프롬프트 재처리 지연 문제를 해결하는 방법을 공유한다.

배경

Qwen 3.5 모델을 vLLM에서 사용할 때 문맥이 길어질수록 전체 프롬프트를 재계산하여 응답이 지연되는 문제를 해결하기 위해 작성자가 직접 테스트한 최적화 설정을 공유했다.

의미 / 영향

vLLM의 최신 캐싱 및 성능 모드 설정이 하이브리드 아키텍처 모델의 추론 효율을 획기적으로 개선할 수 있음을 보여준다. 특히 긴 문맥을 다루는 에이전트 환경에서 프롬프트 재처리 병목을 해결하는 실질적인 가이드를 제공한다.

실용적 조언

vLLM nightly 이미지를 사용하여 최신 최적화 기능을 적용한다.
긴 문맥 사용 시 enable-prefix-caching을 활성화하여 중복 계산을 방지한다.
메모리 부족 시 kv-cache-dtype fp8_e4m3를 사용하여 캐시 크기를 줄인다.

언급된 도구

vLLM추천

LLM 추론 엔진

Qwen 3.5중립

대형 언어 모델

섹션별 상세

Qwen 3.5 모델의 긴 문맥 처리 시 발생하는 병목 현상을 지적했다. 대화가 길어질수록 이전 메시지를 포함한 전체 프롬프트를 다시 계산하는 과정에서 지연 시간이 기하급수적으로 증가하여 모델 사용이 불가능한 수준에 이르렀다. 특히 코딩 에이전트와 같이 문맥이 누적되는 작업에서 응답까지 수 분이 소요되는 문제가 발생했다.

vLLM 0.17.0 nightly 버전에서 도입된 Mamba 관련 설정이 성능 향상의 핵심이다. mamba-cache-mode를 align으로 설정하고 mamba-block-size를 8로 지정함으로써 하이브리드 아키텍처 모델의 캐시 효율성을 극대화했다. 이러한 설정은 하이브리드 모델의 상태 공간 모델(SSM) 구성 요소가 이전 문맥을 더 빠르게 참조하도록 돕는다.

performance-mode를 interactivity로 설정하여 실시간 대화 환경에 최적화된 추론 스케줄링을 적용했다. 이는 긴 문맥의 코딩 에이전트 작업이나 대화형 서비스에서 응답 대기 시간을 줄이는 데 결정적인 역할을 했다. 기존의 처리 방식보다 사용자 경험 측면에서 즉각적인 반응을 이끌어내는 데 효과적이다.

enable-prefix-caching과 enable-chunked-prefill 옵션을 병행 사용했다. 접두사 캐싱은 중복된 프롬프트 계산을 방지하고, 청크 단위 프리필은 대규모 토큰 입력을 효율적으로 나누어 처리하여 GPU 메모리 압박을 완화했다. 이 조합을 통해 긴 문맥에서도 프롬프트 전체를 재처리하지 않고 필요한 부분만 계산하는 구조를 완성했다.

코드 예제

bash

docker run --rm \
 --label "$CONTAINER_LABEL" \
 --runtime=nvidia \
 --gpus '"device=0,1,2"' \
 --privileged \
 --ipc=host \
 --ulimit memlock=-1 \
 --ulimit stack=67108864 \
 -p 5000:5000 \
 -e CUDA_DEVICE_ORDER=PCI_BUS_ID \
 -e LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:/lib/x86_64-linux-gnu \
 -e PYTORCH_ALLOC_CONF=expandable_segments:True,max_split_size_mb:512 \
 -e VLLM_SLEEP_WHEN_IDLE=1 \
 -e OMP_NUM_THREADS=16 \
 -e VLLM_USE_DEEP_GEMM=0 \
 -e VLLM_USE_FLASHINFER_MOE_FP16=1 \
 -e VLLM_USE_FLASHINFER_SAMPLER=0 \
 -v /home/daniel/vllm/models:/models \
 -v ~/.cache/qwen35/vllm:/root/.cache/vllm \
 -v ~/.cache/qwen35/torch:/root/.cache/torch \
 -v ~/.nv/qwen35/ComputeCache:/root/.nv/ComputeCache \
 vllm/vllm-openai:nightly \
 --model /models/qwen3.5-awq \
 --served-model-name qwen3.5-awq \
 --host 0.0.0.0 \
 --port 5000 \
 --max-model-len 225000 \
 --max-num-batched-tokens 8192 \
 --pipeline-parallel-size 3 \
 --kv-cache-dtype fp8_e4m3 \
 --max-num-seqs 2 \
 --tool-call-parser qwen3_coder \
 --reasoning-parser qwen3 \
 --enable-auto-tool-choice \
 --optimization-level 3 \
 --enable-prefix-caching \
 --trust-remote-code \
 --language-model-only \
 --performance-mode interactivity \
 --mamba-cache-mode align \
 --mamba-block-size 8 \
 --enable-chunked-prefill \
 --async-scheduling \
 --override-generation-config '{ "temperature": 0.60, "top_p": 0.95, "top_k": 20, "min_p": 0.0, "presence_penalty": 0.0, "repetition_penalty": 1.0, "max_tokens": 16384 }'

vLLM nightly 버전을 사용하여 Qwen 3.5 모델을 최적화된 설정으로 실행하는 Docker 명령어

실무 Takeaway

vLLM 0.17.0 nightly 버전의 mamba-cache-mode와 mamba-block-size 설정으로 Qwen 3.5의 재처리 지연을 해결할 수 있다.
performance-mode interactivity 설정을 통해 대화형 작업의 지연 시간을 대폭 단축했다.
enable-prefix-caching을 활성화하여 긴 대화 내역의 중복 계산을 방지하는 것이 필수적이다.
FP8 KV 캐시(fp8_e4m3)를 사용하여 긴 문맥(최대 225,000 토큰) 처리 시의 메모리 효율을 확보했다.