DeepLearning.AI, vLLM 기반 LLM 추론 최적화 과정 공개

섹션별 상세

01

LLM 배포 라이프사이클은 모델 압축, 효율적 서빙, 성능 벤치마킹의 3단계로 이루어진다.

강의의 전체 구조와 학습 흐름을 보여주는 다이어그램이다. — Diagram강의가 모델 압축, 서빙, 벤치마킹의 3단계로 구성되어 있음을 시각적으로 설명한다.

02

LLM Compressor는 학습 없이 모델 가중치 정밀도를 낮추는 양자화 도구로, GPU 메모리 요구량을 줄인다.

python

oneshot(model="model-name", dataset="dataset-name", recipe=recipe, output_dir="./output", num_calibration_samples=256, max_seq_length=4096)

LLM Compressor를 사용하여 모델을 양자화하는 oneshot API 사용 예시

양자화 기법의 종류와 GPU 메모리 계층 구조를 비교한 이미지이다. — DiagramFP16에서 INT8/INT4로의 변환 과정과 그에 따른 메모리 이점을 시각화하여 양자화의 필요성을 설명한다.

03

vLLM은 연속 배치와 프리픽스 캐싱을 통해 중복 계산을 방지하고 메모리 효율을 높인다.

python

def get_vllm_metrics(base_url=VLLM_URL): r = requests.get(f"{base_url}/metrics") metrics = {} for line in r.text.split("
"): if line.startswith("#") or not line.strip(): continue name = line.split("{")[0].split()[0] try: metrics[name] = float(line.split()[-1]) except (ValueError, IndexError): continue return metrics

vLLM의 Prometheus 메트릭 엔드포인트를 스크래핑하여 현재 상태를 확인하는 함수

vLLM의 메트릭 대시보드와 실시간 모니터링 화면이다. — Screenshot연속 배치 처리 중인 요청 수와 메모리 사용량을 실시간으로 확인하는 방법을 보여준다.

04

GuideLLM은 시뮬레이션된 트래픽 패턴을 통해 지연 시간과 처리량을 측정하여 배포 성능을 평가한다.

GuideLLM을 사용하여 모델을 벤치마킹하는 실습 화면이다. — Screenshot시뮬레이션된 트래픽 하에서 모델의 지연 시간과 처리량을 측정하는 과정을 보여준다.

05

강의는 KV 캐시와 GPU 메모리 계층 구조를 시각화하여 추론 과정의 병목 지점을 명확히 파악하도록 돕는다.

KV 캐시의 작동 원리와 메모리 구조를 설명하는 다이어그램이다. — Diagram토큰 생성 시 KV 캐시가 어떻게 메모리에 저장되고 확장되는지 보여주며, 추론 시 메모리 병목 지점을 이해하는 데 도움을 준다.

용어 해설

KV 캐시(KV Cache): — Attention 메커니즘에서 이전 토큰의 Key와 Value 값을 저장하여 반복적인 연산을 방지하는 메모리 영역이다. 생성 과정에서 메모리 압박의 주원인이 되며, 효율적인 관리가 추론 성능에 직결된다.
양자화(Quantization): — 모델 가중치의 정밀도를 FP16에서 INT8 또는 INT4 등으로 낮추는 기법이다. 모델 크기를 줄여 GPU 메모리 요구량을 감소시키고 추론 속도를 높이지만, 정확도와의 트레이드오프가 발생한다.
연속 배치(Continuous Batching): — 요청이 들어오는 대로 즉시 배치에 포함하고 완료된 요청은 즉시 제거하는 vLLM의 핵심 기술이다. 고정된 배치 크기보다 GPU 활용도를 극대화하여 처리량을 크게 향상시킨다.

기술

vLLM
LLM Compressor
GuideLLM
JupyterLab
Qwen

활용 사례

LLM 모델 양자화
효율적인 LLM 서빙
LLM 성능 벤치마킹

언급된 리소스

튜토리얼Fast & Efficient LLM Inference with vLLM