분산 llama.cpp RPC 풀을 활용한 추측성 디코딩 구현

실용적 조언

단일 GPU 메모리가 부족하다면 llama.cpp RPC를 통해 남는 하드웨어를 연결하여 VRAM을 확장하십시오.
분산 환경에서는 반드시 추측성 디코딩을 적용하여 네트워크 왕복 횟수를 줄여야 실사용 가능한 속도를 얻을 수 있습니다.
작성자가 공개한 'tightwad' 라이브러리를 사용하면 Docker 환경에서 간편하게 이 설정을 재현할 수 있습니다.

섹션별 상세

분산 환경에서 llama.cpp RPC를 사용할 때 발생하는 네트워크 병목 현상을 지적했다. 각 토큰 생성 시마다 100-300MB의 활성화 데이터가 네트워크를 통해 전송되어야 하므로 1Gbps 이더넷이나 WiFi 환경에서는 추론 속도가 2.2 tok/s 수준으로 매우 느려지는 문제가 발생했다.

추측성 디코딩을 통해 네트워크 왕복 횟수를 획기적으로 줄이는 메커니즘을 구현했다. 로컬의 작은 모델(Llama 3.1 8B)이 32개의 토큰을 미리 제안하면, 분산된 RPC 풀이 이를 한 번의 통신으로 일괄 검증하는 방식을 사용했다. 이를 통해 네트워크 비용이 토큰 개수가 아닌 배치 크기에 비례하게 되어 전송 효율이 극대화됐다.

실제 하드웨어 구성과 성능 수치를 공개하여 실효성을 입증했다. Llama 3.3 70B Q4_K_M 모델을 대상으로 테스트한 결과, 추측성 디코딩 미적용 시 2.2 tok/s였던 속도가 적용 후 4.1 tok/s로 약 1.86배 향상됐다. 특히 구조화된 출력(Structured Output) 환경에서는 초안 수락률이 100%에 달하는 성과를 보였다.

기존 연구인 Leviathan et al. (2022) 및 Chen et al. (2023)의 이론을 실무적으로 확장했다. 기존 논문들이 단일 기기 내에서의 추측성 디코딩을 다룬 것과 달리, 본 프로젝트는 이를 분산 RPC 환경에 결합하여 소비자용 하드웨어의 한계를 극복하는 실용적인 접근법을 제시했다.

용어 해설

추측성 디코딩(Speculative Decoding): — 작은 초안 모델(Drafter)이 토론을 미리 생성하고 큰 대상 모델(Target)이 이를 한 번에 검증하는 기법이다. 대상 모델의 연산 횟수를 줄여 추론 속도를 높이는 데 기여한다.
원격 프로시저 호출(RPC): — 별도의 원격 제어 없이 다른 주소 공간에 있는 함수나 프로시저를 실행할 수 있게 하는 통신 기술이다. 이 글에서는 여러 대의 하드웨어 자원을 하나의 풀로 묶어 분산 추론을 수행하는 데 사용됐다.
비디오 램(VRAM): — 그래픽 카드가 이미지 데이터나 모델 가중치를 저장하기 위해 사용하는 전용 메모리이다. LLM의 크기가 커질수록 더 많은 용량이 요구되며, 부족할 경우 추론 속도가 급격히 저하된다.
텐서 병렬화(Tensor Parallel): — 하나의 연산을 여러 장치에 나누어 병렬로 처리하는 방식이다. 분산 환경에서는 장치 간 데이터 전송량이 많아 네트워크 대역폭이 병목 현상의 원인이 되기도 한다.

언급된 도구

llama.cpp추천

RPC를 통한 분산 추론 엔진

tightwad추천링크

분산 환경용 추측성 디코딩 구현 라이브러리

언급된 리소스

GitHubtightwad GitHub Repository

논문Fast Inference from Transformers via Speculative Decoding (Leviathan et al.)

논문Accelerating Large Language Model Decoding with Speculative Sampling (Chen et al.)