개방형 인터넷 환경에서의 분산 LLM 추론 엔지니어링 제약 분석

섹션별 상세

단일 GPU 메모리 용량을 초과하는 거대 모델을 서빙하기 위해서는 모델을 여러 장치에 나누어 배치하는 분산 추론이 필수적입니다. 400B 모델을 FP16 정밀도로 로드할 경우 약 800GB의 VRAM이 필요하며, 이는 최신 GPU 한 장으로 감당할 수 없는 '메모리 벽(Memory Wall)' 문제를 야기합니다.

인터넷 환경에서는 데이터 센터의 NVLink와 달리 대역폭이 낮고 지연 시간이 길어 텐서 병렬 처리(Tensor Parallelism) 적용이 불가능합니다. 텐서 병렬 처리는 레이어 계산 중 모든 GPU 간의 동기화가 필요하여 통신 시간이 계산 시간의 99%를 차지하게 되므로, 레이어 블록 단위로 통신하는 파이프라인 병렬 처리가 유일한 대안입니다.

분산 네트워크에서 노드가 동적으로 추가되거나 이탈할 때 발생하는 가중치 이동(Weight Migration)은 디스크 I/O 병목 현상을 초래합니다. SSD에서 VRAM으로 가중치를 로드하는 속도보다 네트워크를 통해 압축된 활성화 함수(Activations)를 전달하는 것이 더 효율적이기 때문에, 각 노드는 가중치를 VRAM에 상주시키고 중간 결과만 주고받는 구조를 취해야 합니다.

근거

디스크에서 VRAM으로 가중치를 로드하는 I/O 비용이 네트워크를 통한 활성화 함수 전송보다 훨씬 비싸다. — Weight Migration 섹션의 NVMe SSD 로딩 시간(11초)과 네트워크 전송 시간(10초 이하) 비교 수치

Petals 아키텍처는 중앙 서버 없이 클라이언트가 직접 분산 해시 테이블(DHT)을 조회하여 추론 경로를 구성하는 엣지 중심 패러다임을 제안합니다. 클라이언트는 가용 노드를 찾아 파이프라인을 구축하고, 8비트 양자화를 통해 중간 데이터를 압축 전송함으로써 인터넷 대역폭 한계를 극복합니다.

노드 이탈 시 발생하는 KV 캐시 손실 문제는 클라이언트가 이전 레이어의 출력을 보관했다가 대체 노드에 재전송하여 캐시를 재계산하는 방식으로 해결합니다. 이 메커니즘을 통해 노드가 갑자기 오프라인이 되어도 약 3초 내외의 일시적인 멈춤 후 추론을 재개할 수 있는 결함 허용성을 확보합니다.

근거

Petals는 전 세계로 분산된 소비자용 GPU 네트워크에서 176B 모델에 대해 초당 1~2개 토큰의 생성 속도를 달성했다. — The paper reports that for a 176B model... Petals achieves generation speeds of roughly 1 to 2 tokens per second.

기술

Petals
DHT
NVIDIA B200
RTX 3090
Hugging Face

활용 사례

소비자용 GPU를 활용한 100B+ 모델 협력 추론
저사양 로컬 환경에서의 거대 모델 테스트
결함 허용이 필요한 P2P 기반 AI 서비스

언급된 리소스

논문Petals: Collaborative Inference and Fine-tuning of LLMs