AWS, llm-d 기반의 LLM 분산 추론(Disaggregated Inference) 기능 발표

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

에이전트 및 추론형 AI 워크로드의 급증으로 LLM 추론 자원 최적화가 필수적인 상황에서 AWS는 오픈소스 프레임워크 llm-d를 도입했다. llm-d는 추론의 두 핵심 단계인 Prefill(연산 중심)과 Decode(메모리 중심)를 물리적으로 분리하여 각각 최적의 하드웨어에서 실행하는 분산 서빙 아키텍처를 제공한다. AWS의 EFA(Elastic Fabric Adapter)와 NIXL 라이브러리를 결합하여 노드 간 KV 캐시 전송 오버헤드를 최소화했으며, 지능형 스케줄러를 통해 캐시 지역성을 고려한 라우팅을 수행한다. 벤치마크 결과 기존 vLLM 배포 방식 대비 처리량이 최대 70% 향상되었으며, SageMaker HyperPod 및 EKS 환경에서 즉시 배포 가능하다.

배경

Kubernetes (EKS/SageMaker HyperPod) 운영 지식, vLLM 및 PagedAttention 개념 이해, AWS EFA 및 고성능 네트워킹 기초 지식

대상 독자

대규모 LLM 서비스를 운영하며 추론 비용 절감과 성능 최적화가 필요한 MLOps 및 인프라 엔지니어

의미 / 영향

이 기술은 LLM 추론의 물리적 한계를 아키텍처적으로 극복하여 대규모 에이전트 시스템 운영 비용을 획기적으로 낮출 수 있다. 특히 AWS 인프라에 최적화된 전송 계층을 제공함으로써 클라우드 환경에서의 고성능 분산 추론 표준을 제시한다.

섹션별 상세

LLM 추론은 연산 집약적인 Prefill 단계와 메모리 대역폭 집약적인 Decode 단계로 나뉘며, 기존의 통합 방식은 자원 활용의 불균형을 초래한다. Prefill은 입력 프롬프트를 병렬로 처리하여 KV 캐시를 생성하고, Decode는 토큰을 하나씩 순차적으로 생성하며 지속적으로 메모리에 접근해야 하므로 두 단계의 하드웨어 요구 사항이 근본적으로 다르다.

llm-d는 Kubernetes 네이티브 프레임워크로서 Prefill과 Decode 서버를 분리하여 독립적으로 확장할 수 있는 분산 서빙 패턴을 제공한다. 이를 통해 사용자는 입력 시퀀스가 길면 Prefill 노드를 늘리고, 출력 토큰이 많으면 Decode 노드를 늘리는 방식으로 워크로드 특성에 맞춰 인프라를 유연하게 구성할 수 있다.

지능형 추론 스케줄러는 각 서빙 복제본의 KV 캐시 상태를 실시간으로 파악하여 요청을 최적의 노드로 라우팅한다. 멀티턴 대화나 에이전트 워크플로처럼 프롬프트 접두사(Prefix) 재사용이 많은 경우, 이미 해당 캐시를 보유한 노드로 요청을 보내 중복 연산을 방지하고 응답 속도를 높인다.

SageMaker HyperPod EKS 클러스터 내의 추론 요청 흐름도 — Diagram사용자 요청이 로드 밸런서를 거쳐 인프런스 게이트웨이(Istio)로 전달되고, 엔드포인트 픽커가 최적의 Prefill 및 Decode 워커를 선택하여 요청을 할당하는 과정을 나타낸다. 노드 간 NIXL을 통한 KV 전송 메커니즘이 포함되어 있다.

AWS EFA와 NIXL(NVIDIA Inference Xfer Library)을 활용하여 분산된 노드 간에 RDMA 기반의 초고속 KV 캐시 전송을 구현했다. NIXL은 CPU를 거치지 않고 GPU 메모리 간 데이터를 직접 전송하는 추상화 계층을 제공하며, 이를 통해 Prefill 노드에서 생성된 캐시를 Decode 노드로 전송할 때 발생하는 지연 시간을 최소화했다.

bash

args:
  - "--block-size"
  - "128"
  - "--kv-transfer-config"
  - '{"kv_connector":"NixlConnector", "kv_role":"kv_both","kv_connector_extra_config": {"backends": ["LIBFABRIC"]}}'
  - "--max-model-len"
  - "32000"
// ...(중략)
resources:
  limits:
    vpc.amazonaws.com/efa: 4

vLLM 실행 시 NIXL 커넥터와 Libfabric 백엔드를 사용하여 EFA 기반의 KV 캐시 전송을 설정하는 예시

llm-d의 분산 서빙 통신 스택 다이어그램 — DiagramvLLM과 NIXL이 UCX/Libfabric 및 EFA를 통해 EC2 노드 간에 점대점(Point-to-Point) KV 캐시 전송을 수행하는 계층 구조를 보여준다. Prefill과 Decode 단계가 물리적으로 분리된 노드에서 어떻게 고속 네트워크로 연결되는지 설명한다.

SageMaker HyperPod 관측성 대시보드 스크린샷 — ScreenshotGPU 사용률, 텐서 코어 활용도, GPU 온도, EFA 네트워크 메트릭 등을 실시간으로 모니터링하는 화면이다. 분산 추론 환경에서 하드웨어 자원의 상태를 추적하고 최적화하는 데 사용됨을 보여준다.

MoE(Mixture-of-Experts) 모델을 위한 전문가 병렬 처리(Expert Parallelism)와 GPU 메모리 한계를 극복하는 계층형 프롬프트 캐싱 기능을 지원한다. 대규모 MoE 모델의 전문가들을 여러 노드에 분산 배치하여 처리량을 높이고, 자주 사용되지 않는 KV 캐시는 CPU 메모리나 디스크로 오프로딩하여 메모리 효율성을 극대화했다.

실무 Takeaway

긴 입력 프롬프트를 처리하는 RAG나 에이전트 시스템에 llm-d의 분산 추론을 적용하면 기존 vLLM 대비 최대 70%의 처리량 향상을 기대할 수 있다.
AWS EFA와 NIXL을 결합한 RDMA 전송 방식을 사용하여 분산 노드 간 KV 캐시 공유 시 발생하는 네트워크 병목 현상을 해결할 수 있다.
SageMaker HyperPod EKS 환경에서 제공되는 전용 컨테이너 이미지를 활용하여 복잡한 분산 추론 인프라를 Kubernetes 네이티브 방식으로 신속하게 구축 가능하다.

언급된 리소스

GitHubllm-d GitHub Repository

문서llm-d Documentation