Mooncake, PyTorch 에코시스템 합류: 대규모 언어 모델 서빙을 위한 고성능 KVCache 최적화 솔루션

섹션별 상세

Mooncake는 LLM 서빙의 병목 현상인 '메모리 벽'을 해결하기 위해 설계된 분산 KVCache 관리 시스템이다. 기존 방식은 KVCache가 특정 GPU 워커에 종속되어 확장이 어려웠으나, Mooncake는 이를 가상화하여 연산과 메모리를 분리한다.

Prefill-Decode 분리(Disaggregation) 기능을 통해 무거운 연산이 필요한 Prefill 단계와 지연 시간에 민감한 Decode 단계를 별도의 클러스터로 나눈다. Mooncake Transfer Engine은 RDMA나 NVLink를 사용하여 Prefill 단계에서 생성된 KVCache를 Decode 노드로 고속 전송한다.

Mooncake Store는 분산 공유 메모리 역할을 수행하여 여러 요청과 엔진 인스턴스 간에 KVCache를 전역적으로 재사용할 수 있게 한다. 이는 동일한 프롬프트나 컨텍스트가 반복되는 상황에서 중복 연산을 제거하고 시스템 전체의 효율성을 높인다.

MoE(Mixture-of-Experts) 모델을 위한 탄력적 전문가 병렬 처리(Elastic Expert Parallelism)를 지원한다. 전문가(Experts)를 특정 워커에서 분리하여 노드 장애 시에도 동적으로 경로를 재설정하거나 복구할 수 있어 높은 가용성을 보장한다.

SGLang 및 vLLM과의 통합 솔루션을 제공하며, RoleBasedGroup(RBG)과 Shepherd Model Gateway(SMG)를 활용한 프로덕션급 배포 구성을 지원한다. 제공된 YAML 설정을 통해 Prefill/Decode 워커와 Mooncake 마스터/스토어 노드를 손쉽게 구축할 수 있다.

yaml

# Joint Solution: RBG + SMG + SGLang + Mooncake
apiVersion: workloads.x-k8s.io/v1alpha1
kind: RoleBasedGroup
metadata:
  name: sglang-mooncake-smg-v2
spec:
  roles:
    - name: prefill-worker
      template:
        spec:
          containers:
            - name: sglang-prefill
              env:
                - name: MOONCAKE_PROTOCOL
                  value: "rdma"
              command:
                - python3
                - -m
                - sglang.launch_server
                - --disaggregation-mode prefill
                - --disaggregation-transfer-backend mooncake
                - --hicache-storage-backend mooncake

SGLang에서 Mooncake를 전송 및 캐시 백엔드로 사용하여 프리필-디코드 분리를 구현하는 YAML 설정 예시

yaml

# vLLM + Mooncake Connector
- name: prefill
  template:
    spec:
      containers:
        - name: prefill
          command:
            - sh
            - -c
            - |
              pip install mooncake-transfer-engine && \
              vllm serve /models/Qwen2.5-7B-Instruct \
              --kv-transfer-config '{"kv_connector":"MooncakeConnector","kv_role":"kv_producer"}'

vLLM에서 Mooncake 커넥터를 사용하여 KV 캐시 생산자(Producer) 역할을 수행하도록 설정하는 방법

용어 해설

키-값 캐시(KV Cache): — LLM 추론 과정에서 이전 토큰들의 Key와 Value 행렬을 메모리에 저장해 두는 기술이다. 매번 처음부터 다시 계산하는 중복 연산을 방지하여 생성 속도를 높이지만, 컨텍스트가 길어질수록 막대한 GPU 메모리를 점유하는 병목 원인이 된다.
프리필-디코드 분리(Prefill-Decode Disaggregation): — LLM 추론의 두 단계인 입력 처리(Prefill)와 토큰 생성(Decode)을 서로 다른 컴퓨팅 자원에서 실행하는 기법이다. 연산 집약적인 프리필과 지연 시간에 민감한 디코드를 분리하여 전체 시스템의 처리량과 응답 속도를 최적화한다.
원격 직접 메모리 접근(RDMA): — CPU의 개입 없이 네트워크를 통해 한 컴퓨터의 메모리에서 다른 컴퓨터의 메모리로 데이터를 직접 전송하는 기술이다. 데이터 복사 단계를 줄여 극도로 낮은 지연 시간과 높은 대역폭을 제공하며 분산 AI 학습 및 추론에 필수적이다.
전문가 혼합 모델(MoE): — 전체 파라미터 중 입력값에 따라 필요한 일부 전문가(Expert) 네트워크만 활성화하여 연산하는 모델 구조다. Mooncake는 이 전문가들을 워커 노드에서 분리하여 장애 복구와 탄력적 배포를 가능하게 한다.
vLLM: — PagedAttention 기술을 통해 KV 캐시 메모리 관리를 최적화한 고성능 LLM 추론 엔진이다. Mooncake와 통합되어 노드 간 캐시 전송 및 공유 기능을 확장할 수 있다.