Mesh LLM: 여러 기기의 GPU 자원을 하나로 묶는 분산 추론 프레임워크

섹션별 상세

단일 기기 메모리 한계를 극복하기 위해 여러 기기의 GPU 자원을 유연하게 결합합니다. 모델 크기가 로컬 VRAM을 초과하면 시스템이 자동으로 파이프라인 병렬 처리 또는 전문가 병렬 처리를 선택하여 노드 간에 부하를 분산합니다. 이를 통해 고가의 단일 워크스테이션 없이도 70B 이상의 거대 모델을 일반 PC 여러 대로 구동할 수 있습니다.

MoE 모델의 경우 전문가 샤딩 기법을 도입하여 추론 중 노드 간 통신 오버헤드를 제거했습니다. 각 노드는 핵심 전문가 레이어를 복제하여 보유하고 고유한 전문가 서브셋을 독립적으로 실행하는 GGUF 파일을 로드합니다. 세션은 KV 캐시 지역성을 위해 해시 라우팅되어 네트워크 지연 영향을 최소화합니다.

bash

curl -fsSL https://raw.githubusercontent.com/Mesh-LLM/mesh-llm/main/install.sh | bash
mesh-llm serve --auto

Mesh LLM을 설치하고 자동으로 최적의 공개 메쉬에 참여하여 모델 서빙을 시작하는 명령어

bash

mesh-llm serve --model Qwen2.5-32B

특정 모델을 지정하여 프라이빗 메쉬를 생성하고 로컬 API 및 콘솔을 실행하는 명령어

네트워크 최적화를 통해 RPC 통신 효율을 극대화하고 데이터 전송 속도를 개선했습니다. 로컬 디스크에서 가중치를 직접 읽는 Zero-transfer 로딩으로 모델 로드 시간을 111초에서 5초로 단축했으며, 토큰당 RPC 왕복 횟수를 558회에서 8회로 줄였습니다. 또한 중간 텐서를 클라이언트를 거치지 않고 서버 간 직접 전송하여 대역폭 낭비를 방지합니다.

사용자 편의성을 위해 자동 메쉬 발견 및 설정 기능을 제공합니다. 사용자는 간단한 CLI 명령어로 공개 메쉬에 참여하거나 프라이빗 메쉬를 구축할 수 있으며, 웹 기반 콘솔을 통해 실시간 토폴로지와 GPU 상태를 모니터링할 수 있습니다. 멀티 모델 지원 기능을 통해 서로 다른 노드에서 여러 모델을 동시에 서빙하고 요청 모델명에 따라 자동 라우팅이 이루어집니다.

Mesh LLM의 웹 대시보드 인터페이스로 네트워크 토폴로지와 노드 상태를 보여줍니다. — Screenshot메쉬 네트워크에 연결된 여러 노드(MiniMax, Qwen 등)의 연결 구조와 각 노드의 VRAM 사용량, 지연 시간(Latency)을 시각화하여 보여줍니다. 오른쪽 모델 카탈로그를 통해 현재 메쉬에서 사용 가능한 모델 목록과 상태(Warm/Cold)를 한눈에 파악할 수 있음을 나타냅니다.

용어 해설

파이프라인 병렬 처리(Pipeline Parallelism): — 모델의 레이어를 여러 장치에 순차적으로 분산하여 실행하는 기술입니다. 단일 GPU 메모리를 초과하는 거대 모델을 여러 노드에 나누어 로드하고 추론할 수 있게 해줍니다.
전문가 병렬 처리(Expert Parallelism): — MoE(Mixture-of-Experts) 모델에서 각 노드가 특정 전문가 레이어만 담당하도록 분산하는 방식입니다. 노드 간 통신 오버헤드를 최소화하면서 대규모 MoE 모델을 효율적으로 구동합니다.
전문가 혼합 모델(MoE): — 입력 데이터에 따라 전체 파라미터 중 일부(전문가)만 활성화하여 계산 효율성을 높인 아키텍처입니다. 적은 연산량으로 거대 모델의 성능을 낼 수 있어 최근 LLM의 주류 구조로 자리 잡았습니다.
추측적 디코딩(Speculative Decoding): — 작고 빠른 초안 모델이 토큰을 먼저 생성하고 큰 모델이 이를 한 번에 검증하는 기법입니다. 이를 통해 추론 품질을 유지하면서도 토큰 생성 속도를 대폭 향상시킵니다.

기술

llama.cpp
Rust
QUIC
GGUF
CUDA
ROCm

활용 사례

개인용 거대 LLM 서버 구축
사내 유휴 PC 자원을 활용한 AI 추론 풀 구성
로컬 에이전트용 통합 API 엔드포인트 제공

언급된 리소스

GitHubMesh LLM GitHub Repository

DemoMesh LLM Console Demo