분산 llama.cpp RPC 풀을 활용한 추측성 디코딩 구현

작성자의 실용적인 접근에 대해 긍정적인 반응이며, 특히 저사양 하드웨어를 활용한 분산 처리 방식에 높은 관심을 보이고 있습니다.

• 단일 GPU 메모리가 부족하다면 llama.cpp RPC를 통해 남는 하드웨어를 연결하여 VRAM을 확장하십시오.
• 분산 환경에서는 반드시 추측성 디코딩을 적용하여 네트워크 왕복 횟수를 줄여야 실사용 가능한 속도를 얻을 수 있습니다.
• 작성자가 공개한 'tightwad' 라이브러리를 사용하면 Docker 환경에서 간편하게 이 설정을 재현할 수 있습니다.

Speculative Decoding

— 작은 초안 모델(Drafter)이 토론을 미리 생성하고 큰 대상 모델(Target)이 이를 한 번에 검증하는 기법이다. 대상 모델의 연산 횟수를 줄여 추론 속도를 높이는 데 기여한다.

RPC

— 별도의 원격 제어 없이 다른 주소 공간에 있는 함수나 프로시저를 실행할 수 있게 하는 통신 기술이다. 이 글에서는 여러 대의 하드웨어 자원을 하나의 풀로 묶어 분산 추론을 수행하는 데 사용됐다.

VRAM

— 그래픽 카드가 이미지 데이터나 모델 가중치를 저장하기 위해 사용하는 전용 메모리이다. LLM의 크기가 커질수록 더 많은 용량이 요구되며, 부족할 경우 추론 속도가 급격히 저하된다.

Tensor Parallel

— 하나의 연산을 여러 장치에 나누어 병렬로 처리하는 방식이다. 분산 환경에서는 장치 간 데이터 전송량이 많아 네트워크 대역폭이 병목 현상의 원인이 되기도 한다.