ModelExpress: 모델 가중치와 커널 아티팩트를 GPU 메모리로 초고속 배포하기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대형 LLM의 콜드 스타트와 반복적 가중치 이동은 네트워크와 호스트 메모리에서 상당한 비용을 발생시키며 ModelExpress는 이 문제를 '먼저 소스 찾기' 전략으로 해결한다. MX는 서빙 피어에서의 GPU-to-GPU P2P RDMA 전송을 최우선으로 선택하고, 첫 워커는 Model Streamer의 멀티스레드 스트리밍으로 디스크에 체크포인트를 남기지 않고 부트스트랩하며 GDS 또는 호스트 스테이징을 환경에 따라 자동 선택한다. 대규모 메모리 등록 오버헤드는 Pool registration과 16 TiB VMM 어레나 등록으로 텐서별 등록을 한 번의 등록으로 축소해 등록 호출을 80~99% 줄였고, 실험에서 DeepSeek-V4-Pro의 가중치와 커널 캐시 전송은 10초 미만으로 완료되어 전체 시작 시간을 8분에서 1분 44초로 단축했다. RL 포스트트레이닝을 위한 수신자 주도 리핏과 아티팩트 전송을 통해 단일 노드에서의 컴파일 비용을 공유할 수 있으나 P2P RDMA나 GDS 같은 플랫폼별 기능을 전제로 하므로 환경 감지와 안전한 폴백 로직이 필수적이다.

빠른 이해

새로운 점

GPU 간 P2P RDMA 우선 전송과 대규모 메모리 등록 축소를 결합해 가중치와 커널 캐시의 콜드 스타트 비용을 시스템 수준에서 동적으로 최소화한 점

핵심 메커니즘

호환성 검사로 소스 후보를 찾은 뒤 P2P RDMA 우선 전송 또는 ModelStreamer/GDS 경로로 텐서를 직접 GPU 메모리에 배치하고 필요 시 아티팩트를 CPU-to-CPU RDMA로 전달해 새 리플리카의 준비 상태를 단축한다.

핵심 수치

예시 모델 체크포인트 크기: 806 GiB- 클러스터 입구 예시로 제시된 대형 모델 크기
콜드 스타트 전체 시간 비교: 1분 44초 (MX) vs 8분 (기존)- DeepSeek-V4-Pro, 8×B200, ConnectX-7, vLLM TP=8 환경에서 측정
메모리 등록 호출 감소: 80~99% 감소- Pool registration 적용 시 전형적 범위

섹션별 상세

ModelExpress 개요와 설계 목표

ModelExpress는 모델 가중치의 라이프사이클에서 발생하는 반복적 전송 비용을 줄이는 것을 목표로 삼는다. 이 플랫폼은 먼저 클러스터 내에 호환되는 가중치 복사본이 어디에 있는지 확인한 뒤 가장 빠른 전송 경로를 선택하며, 가능하면 GPU 간 P2P RDMA로 직접 텐서를 이동시켜 오브젝트 스토리지와 호스트 메모리 접근을 회피한다. 이러한 접근은 콜드 스타트, 오토스케일링으로 인한 복제, RL 포스트트레이닝의 가중치 롤아웃 같은 서로 다른 워크플로에서 공통적으로 발생하는 '로드 대기 시간'을 체계적으로 축소한다.

스토리지에서 부트스트랩하는 동작 원리

첫 번째 워커가 필요할 때 ModelExpress는 체크포인트를 로컬 디스크로 완전히 내려받지 않고 Model Streamer를 통해 safetensors 샤드를 멀티스레드로 병렬 읽기하여 재사용 가능한 CPU 스테이징 버퍼로 전달한다. 도착한 텐서는 파이프라인 방식으로 즉시 추론 엔진의 로더에 연결되어 이후 텐서들이 도착하는 동안 이미 도착한 텐서로 추론 준비를 시작하게 만든다. 텐서 병렬 환경에서는 참가 랭크들이 NCCL 같은 통신을 통해 원격 읽기를 분할하여 중복 다운로드를 제거하고 전체 네트워크와 호스트 메모리 사용량을 제어한다.

클러스터 입구에서의 단일 다운로드 원칙

공유 디스크 캐시를 운영하는 환경에서는 다중 리플리카가 동시에 대용량 모델을 요청하면 수백 기가바이트 단위의 동일한 데이터가 여러 번 유입되어 네트워크 병목을 유발한다. MX의 Model Cache Service는 메타데이터 스토어에 원자적 클레임을 만들어 하나의 다운로드만 수행하고 나머지 복제본은 그 진행을 추적하여 동일한 캐시 복사본을 재사용하게 만든다. 예시로 806 GiB 모델을 10개 리플리카가 동시에 불러오면 약 8 TiB의 중복 전송이 발생하는데 MX는 이를 단일 외부 다운로드 비용으로 축소한다.

근거

클러스터에서 806 GiB 모델을 10개 리플리카가 동시에 가져오면 약 8 TiB의 중복 데이터 전송이 발생하며 ModelExpress의 Model Cache Service는 이를 하나의 외부 다운로드로 축소한다. — 클러스터 입구 단락 내 예시 수치

로컬 스토리지에서 GPU로의 빠른 경로

시스템이 GPUDirect Storage(GDS)를 지원하면 MX는 NIXL의 멀티스레드 GDS 백엔드를 통해 파일에서 직접 GPU 메모리로 배치해 호스트 메모리 스테이징을 완전히 우회한다. GDS가 불가능한 환경에서는 ModelStreamer를 통해 호스트 메모리를 제한된 버퍼로 사용하면서 디스크 I/O와 GPU 배치를 오버랩시켜 실질적인 가속 효과를 확보한다. MX는 환경 기능을 자동으로 감지해 가능한 최적 경로를 선택하므로 사용자가 수동으로 설정하지 않아도 가장 빠른 로드 방식을 적용한다.

서빙 중인 피어에서의 GPU 간 직접 전송

한 번이라도 모델을 서빙하는 리플리카가 존재하면 그 GPU 메모리는 이미 텐서가 포스트프로세싱되고 엔진에 맞게 배치된 상태이므로 MX는 해당 리플리카를 '라이브 소스'로 간주한다. 호환성을 확인하기 위해 mx_source_id를 계산한 뒤 일치하는 피어만 후보로 삼고, 컨트롤 플레인은 Redis나 Kubernetes CRD를 통해 피어를 발견하고 전송 메타데이터를 교환하지만 실제 바이트 데이터는 데이터 플레인을 통해 직접 이동시킨다. 데이터 전송 엔진으로 기본 NIXL을 사용하며 Infiniband, RoCE, NVLink, EFA 등 다양한 네트워크 백엔드를 플러그인 방식으로 활용하여 GPU-to-GPU 팬아웃으로 스케일아웃을 전환한다.

메모리 등록 오버헤드 최적화

RDMA 전송을 위해서는 각 텐서를 ibv_reg_mr 호출로 등록해 rkey를 얻어야 하는데 대형 모델에서는 텐서 수가 수만 개에 달해 등록 비용이 무시할 수 없다. MX는 두 가지 옵트인 전략을 제공한다. Pool registration은 기저의 cudaMalloc 할당 단위로 등록을 한 번만 수행해 텐서별 등록 호출 수를 80~99%까지 줄이고, VMM arena registration은 로드 시간 할당을 16 TiB 가상 주소 어레나로 유도하여 전체 사용 범위를 한 번의 dmabuf 기반 등록으로 처리해 등록 호출을 단일 호출로 축소한다. 이러한 기법은 DeepSeek-V4-Pro TP=8 환경의 측정에서 등록 시간을 대폭 감소시키는 것으로 나타났다.

근거

Pool registration을 적용하면 텐서별 ibv_reg_mr 호출 수가 일반적으로 80~99% 감소한다. — 메모리 등록 최적화 단락과 VMM arena 등록 설명

런타임 경로 선택과 안전한 폴백

시작 시 MX는 환경의 능력을 프로브해 지원되지 않는 경로는 건너뛰고 우선순위에 따라 가능한 전략을 순차적으로 시도한다. 우선순위는 P2P RDMA, ModelStreamer, GDS, 기본 호스트 스테이징 POSIX I/O이며 어떤 경로도 실패하면 모델 상태를 변경하기 전까지만 허용하고 실패 발생 이후에는 모델을 재초기화하여 부분적으로 쓰인 가중치가 서빙되지 않도록 한다. P2P 전송은 전송 전에 메타데이터 오류에 대해서만 대체 피어를 재시도하고 네이티브 로더가 최종 폴백으로 남아 있어 플랫폼 간 이식성과 안정성을 확보한다.

엔드투엔드 성능 결과와 커널 캐시 상속

실험 환경에서 DeepSeek-V4-Pro를 8×B200 노드와 ConnectX-7 NIC로 운용하면서 vLLM 0.23.0, TP=8, --enable-flashinfer-autotune를 사용해 콜드 스타트 시나리오를 비교했다. 결과적으로 서빙 리플리카에서 신규 리플리카로 가중치와 JIT 커널 캐시를 전송하는 데 가중치 전송은 10초 미만으로 완료되었고 전체 시작 시간은 8분에서 1분 44초로 감소했다. 커널 JIT·오토튜닝 비용이 새로 로드된 모델에서 지배적이므로 MX는 Artifact Transfer API로 파일 기반 아티팩트를 CPU 간 RDMA로 직접 전달해 캐시를 검증하고 설치함으로써 반복 컴파일 비용을 제거했다.

근거

MX는 DeepSeek-V4 Pro의 가중치와 JIT 커널 캐시 아티팩트를 서빙 리플리카에서 신생 리플리카로 10초 미만에 전송하여 전체 시작 시간을 8분에서 1분 44초로 단축했다. — 엔드투엔드 결과 단락과 Figure 4 및 Figure 6의 비교 차트

RL 포스트트레이닝의 리핏(receiver-driven) 워크플로

RL 포스트트레이닝은 트레이너가 스텝마다 가중치를 갱신하므로 추론 액터가 다음 롤아웃 전에 갱신된 가중치를 신속히 받아야 한다는 요구를 제시한다. MX는 게시, 발견, 계획, 풀·변환·로딩이라는 네 단계의 수신자 주도 리핏 플로우를 제공해 트레이너의 분산 레이아웃(FSDP/DTensor 또는 Megatron 파티셔닝)에서 추론 엔진의 레이아웃으로 필요한 텐서 범위를 매핑하고 원소 단위 또는 델타 방식으로 읽어 들인다. MX의 구성 요소는 이미 통합 평가를 받는 중이며 크로스클러스터 델타 웨이트 전송 같은 기법이 추가 실험으로 진행되고 있다.

통합 생태계와 향후 로드맵

ModelExpress는 vLLM, SGLang과의 네이티브 통합을 제공하고 Dynamo 및 llm-d 등 여러 서빙 프레임워크를 수용한다. Dynamo 커뮤니티는 TensorRT-LLM 통합과 광범위한 추론 기능을 향한 작업을 진행 중이며 MX는 오픈소스 생태계와의 상호 운용성을 염두에 둔 설계를 유지한다. 향후에는 더 많은 전송 라이브러리와 네트워크 백엔드의 플러그인 지원과 크로스클러스터 최적화가 우선 순위로 예상된다.

용어 해설

GPU 간 원격 직접 메모리 접근(P2P RDMA): — GPU 간 P2P RDMA는 한 GPU의 메모리를 다른 GPU가 네트워크를 통해 직접 읽고 쓸 수 있게 하여 호스트 메모리와 디스크를 거치지 않고 대용량 텐서 전송을 수행하는 기술로, 대형 모델의 콜드 스타트 시 무수한 중복 복사를 제거해 지연과 네트워크 비용을 크게 줄인다.
NVIDIA Inference Xfer Library(NIXL): — NIXL은 GPU 간 및 CPU-GPU 간 고속 데이터 이동을 위한 전송 라이브러리로서 multithreaded GDS 백엔드, RDMA 전송, CPU-to-CPU RDMA 등을 제공하여 모델 가중치와 커널 캐시 아티팩트를 낮은 오버헤드로 전달하는 데 사용된다.
GPU 직접 저장소 I/O(GPUDirect Storage): — GPUDirect Storage는 스토리지에서 GPU 메모리로 직접 데이터 전송을 지원하는 기술로서 호스트 메모리 스테이징을 우회하여 대형 체크포인트를 보다 빠르게 로드하고 I/O-CPU-GPU 경로에서 발생하는 중복 복사 비용을 제거한다.
멀티스레드 스트리밍 체크포인트 로더(Model Streamer): — Model Streamer는 safetensors 샤드에서 멀티스레드로 텐서 범위를 병렬 읽어 CPU 버퍼에 파이프라인하고 도착한 텐서를 즉시 GPU에 배치하여 디스크에 체크포인트를 전부 쓰지 않고도 스트리밍으로 첫 워커를 준비하는 구성요소이다.
가상메모리 어레나 기반 메모리 등록(VMM Arena Registration): — VMM 어레나 등록은 로드 시 모든 CUDA 할당을 단일 대규모 가상 주소 영역으로 집적하고 그 사용 범위를 한 번의 dmabuf 기반 등록으로 처리함으로써 tens of thousands 개별 ibv_reg_mr 호출을 한 번의 등록으로 대체하여 RDMA 등록 비용을 급감시키는 기법이다.

기술

vLLM
NIXL
GPUDirect Storage
Model Streamer
Artifact Transfer API
Dynamo

언급된 리소스

문서원문 링크