AWS LMI 컨테이너 업데이트: LMCache와 EAGLE로 LLM 추론 성능 극대화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM의 컨텍스트 길이가 길어짐에 따라 추론 비용과 지연 시간이 급증하는 문제를 해결하기 위해 AWS가 Large Model Inference(LMI) 컨테이너의 대규모 업데이트를 발표했다. 이번 업데이트의 핵심인 LMCache는 반복되는 텍스트의 KV 캐시를 CPU나 NVMe에 저장하고 재사용하여 TTFT를 최대 62% 단축한다. 또한 EAGLE 투측 디코딩 기술을 통해 토큰 생성 속도를 높이고, 최신 멀티모달 모델 지원 및 LoRA 어댑터 관리 기능을 강화했다. 이를 통해 개발자는 고성능 LLM 서비스를 더 낮은 비용과 복잡성으로 운영할 수 있다.

배경

AWS Large Model Inference (LMI) 컨테이너 기본 지식, KV Cache 및 Speculative Decoding에 대한 이해, Amazon SageMaker AI 추론 엔드포인트 운영 경험

대상 독자

AWS 환경에서 대규모 LLM을 배포하고 비용 및 성능 최적화를 고민하는 MLOps 엔지니어 및 개발자

의미 / 영향

이번 업데이트는 긴 컨텍스트 처리가 필수적인 RAG와 코딩 에이전트 분야에서 LLM 운영 비용을 절반 수준으로 낮출 수 있는 실질적인 방법을 제시한다. 특히 고가의 GPU 메모리 대신 저렴한 CPU/NVMe 자원을 활용하는 계층형 캐싱은 엔터프라이즈급 LLM 서비스의 경제성을 크게 높일 것이다.

섹션별 상세

LMCache는 단순 접두사(prefix) 캐싱을 넘어 문서 내 반복되는 텍스트 청크 단위로 KV 캐시를 추출하고 저장한다. GPU 메모리뿐만 아니라 CPU RAM과 NVMe SSD를 활용하는 다단계 저장 아키텍처를 통해 수백만 토큰의 긴 컨텍스트도 효율적으로 처리하며, 내부 인덱스를 통해 토큰 시퀀스와 캐시된 항목을 지능적으로 매핑한다.

벤치마크 결과 CPU 오프로딩 적용 시 전체 요청 지연 시간은 2.18배(52.9s에서 24.2s로), TTFT는 2.65배(1.16s에서 0.43s로) 빨라졌다. 이러한 지연 시간 감소는 동일 인프라에서 두 배 이상의 요청을 처리할 수 있게 하여 결과적으로 요청당 계산 비용을 약 50% 절감하는 효과를 제공한다.

모델 크기에 따라 KV 캐시 메모리 요구량이 다르므로 최적의 캐싱 전략이 필요하다. Qwen 2.5-72B와 같은 대형 모델은 토큰당 320KB의 메모리를 사용하여 약 500K 토큰부터 CPU 오프로딩의 혜택을 크게 받는 반면, 1.5B급 소형 모델은 2.5M 이상의 극단적인 긴 컨텍스트에서 오프로딩이 효과적이다.

EAGLE(Extrapolation Algorithm for Greater Language-model Efficiency) 기술은 모델의 은닉층에서 직접 미래 토큰을 예측하여 초안 토큰을 생성한다. 기본 모델이 이를 병렬로 검증함으로써 출력 품질을 유지하면서도 전체 생성 지연 시간을 단축하며, 특히 고동시성 운영 환경과 추론 중심 모델에서 성능 이점이 크다.

LoRA 어댑터 호스팅에 '지연 로딩(Lazy Loading)' 방식을 도입하여 인프라 구성 시 어댑터 가용성을 즉각적으로 확보하고 첫 호출 시점에 가중치를 등록한다. 또한 어댑터별로 독립적인 입출력 전처리 및 결과 포맷터 스크립트를 지원하여 멀티테넌트 배포 환경에서 유연한 데이터 처리가 가능하다.

DeepSeek v3.2, Mistral Large 3, Qwen3-VL 등 최신 오픈소스 및 멀티모달 모델에 대한 지원이 확장되었다. 비전-언어 모델을 위해 FlashAttention ViT를 기본 백엔드로 설정하고, 멀티스텝 CUDA 그래프 지원을 통해 시각 정보가 포함된 워크로드의 추론 속도를 최적화했다.

properties

option.lmcache_config_file=/path/to/your/lmcache_config.yaml
# 또는 환경 변수 사용
OPTION_LMCACHE_CONFIG_FILE=/path/to/your/lmcache_config.yaml

LMCache를 수동으로 설정하기 위해 설정 파일 경로를 지정하는 예시

properties

option.lmcache_auto_config=True
# 또는 환경 변수 사용
OPTION_LMCACHE_AUTO_CONFIG=True

호스트의 자원을 자동으로 감지하여 LMCache를 활성화하는 자동 설정 예시

실무 Takeaway

반복적인 문서나 대화 기록이 포함된 RAG 시스템에 LMCache를 적용하면 TTFT를 60% 이상 줄여 사용자 경험을 획기적으로 개선할 수 있다.
메모리 집약적인 70B급 이상 대형 모델 운영 시 CPU/NVMe 오프로딩을 설정하여 GPU 메모리 한계를 극복하고 처리량을 2배 이상 높일 수 있다.
Amazon SageMaker AI에서 세션 기반 스티키 라우팅을 구현하여 캐시 적중률을 극대화하고 인스턴스 간 일관된 성능을 유지해야 한다.

언급된 리소스

GitHubLMCache GitHub Documentation

API DocsAmazon SageMaker AI Inference Components