챕터별 상세
LLM 추론의 기본 흐름과 과제
LLM 추론은 입력 텍스트를 토큰화한 뒤 모델을 통해 다음 토큰의 확률 분포(Logits)를 계산하는 과정이다. 생성된 토큰을 다시 입력에 포함시켜 반복하는 자기회귀(Auto-regressive) 방식을 취한다. 이 과정에서 GPU 메모리 활용도를 높이기 위해 배치 크기를 키워야 하며, 각 요청의 생성 길이가 달라 발생하는 비효율을 해결하는 것이 핵심 과제이다.
추론 성능의 병목: KV 캐시와 메모리 관리
추론 속도를 높이기 위해 이전 연산 결과를 저장하는 KV 캐시를 사용하지만, 이는 막대한 GPU 메모리를 점유한다. 예를 들어 13B 모델을 A100 40GB에서 구동할 때 단일 요청의 KV 캐시가 수 GB를 차지할 수 있다. 기존 방식은 요청마다 최대 길이에 맞춰 메모리를 미리 할당하므로 실제 사용되지 않는 빈 공간이 생기는 단편화 문제가 심각했다.
vLLM의 혁신: PagedAttention과 연속 배칭
vLLM은 운영체제의 가상 메모리 기법에서 영감을 얻은 PagedAttention을 도입했다. KV 캐시를 작은 물리적 블록(페이지)으로 나누어 관리함으로써 메모리 단편화를 거의 0%에 가깝게 줄였다. 또한 연속 배칭(Continuous Batching)을 통해 요청이 끝날 때까지 기다리지 않고 토큰 단위로 새로운 요청을 배치에 투입하여 GPU 가동률을 극대화했다.
성능 최적화를 위한 추가 기능들
vLLM은 접두사 캐싱(Prefix Caching), 양자화(Quantization), 분산 추론 등 다양한 최적화 기능을 제공한다. 접두사 캐싱은 시스템 프롬프트처럼 반복되는 입력을 캐싱하여 연산량을 줄이며, 양자화는 FP16 가중치를 INT8이나 FP8로 압축하여 메모리 사용량을 절반 이하로 낮춘다. 또한 텐서 병렬화(Tensor Parallelism)와 파이프라인 병렬화를 통해 단일 GPU에 담기지 않는 거대 모델을 여러 장의 GPU에서 나누어 처리한다.
Jamba 모델 지원 및 실전 서빙 사례
AI21 Labs의 Jamba 모델은 Transformer와 Mamba 아키텍처가 결합된 하이브리드 모델이다. vLLM은 초기에는 Mamba 계열을 지원하지 않았으나, 커뮤니티 기여를 통해 Jamba를 위한 최적화된 커널과 양자화 기법을 추가했다. 800GB 이상의 메모리가 필요한 Jamba-Large 모델을 INT8 양자화와 8개 H100 GPU 병렬 처리를 통해 실제 서빙하는 환경을 구축했다.
용어 해설
- 키-값 캐시(KV Cache)
- — LLM 추론 시 이전 토큰들의 연산 결과(Key, Value)를 저장해두는 기술이다. 매번 처음부터 다시 계산하지 않고 저장된 값을 재사용하여 생성 속도를 높이지만, 문맥이 길어질수록 GPU 메모리를 대량으로 점유하는 특성이 있다.
- 페이지드 어텐션(PagedAttention)
- — 운영체제의 가상 메모리 페이징 기법을 KV 캐시 관리에 도입한 알고리즘이다. 연속적인 메모리 할당 대신 불연속적인 물리 블록에 데이터를 나누어 저장함으로써 메모리 단편화를 해결하고 활용도를 극대화한다.
- 연속 배칭(Continuous Batching)
- — 여러 요청을 묶어 처리할 때 모든 요청이 끝날 때까지 기다리지 않고, 개별 요청이 완료되는 즉시 새로운 요청을 투입하는 방식이다. 정적 배칭 대비 GPU 가동률을 높이고 대기 시간을 획기적으로 줄여준다.
- 양자화(Quantization)
- — 모델의 가중치나 활성화 값을 고정밀도(FP32)에서 저정밀도(INT8, FP8 등)로 변환하는 기법이다. 모델 크기를 줄이고 연산 속도를 높여 더 저렴한 GPU에서도 대형 모델을 구동할 수 있게 하지만 약간의 정확도 손실이 발생할 수 있다.
- 추측성 디코딩(Speculative Decoding)
- — 작고 빠른 모델이 다음 토큰을 미리 예측(추측)하고, 큰 모델이 이를 한꺼번에 검증하는 방식이다. 검증이 성공하면 한 번의 추론으로 여러 토큰을 생성할 수 있어 전체적인 생성 속도가 크게 향상된다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 23.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
