ClusterFlock: 이기종 하드웨어의 로컬 LLM을 하나로 묶는 오픈소스 오케스트레이터

커뮤니티 반응

사용자들은 파편화된 하드웨어를 통합하려는 시도에 대해 긍정적인 반응을 보였으며 특히 설정의 간편함과 OpenAI API 호환성에 관심을 나타냈다.

주요 논점

01찬성다수

이기종 하드웨어를 단일 API로 묶어주는 기능이 로컬 LLM 사용자들의 관리 부담을 크게 줄여준다.

02중립소수

텐서 병렬화가 아닌 라우팅 방식이므로 단일 거대 모델 실행보다는 여러 작은 모델의 병렬 처리에 적합하다.

합의점 vs 논쟁점

합의점

로컬 LLM 환경에서 하드웨어 파편화는 심각한 문제이며 이를 해결할 오케스트레이션 도구가 필요하다.
VRAM 용량을 고려한 자동 모델 선택 기능은 사용자 편의성을 크게 향상시킨다.

논쟁점

인터넷을 통한 원격 에이전트 연결 시 보안 문제로 인해 VPN 사용이 권장된다.
현재 스트리밍 응답을 지원하지 않는 점이 실시간 대화형 앱 적용에 제약이 될 수 있다.

실용적 조언

여러 대의 GPU 장비를 보유하고 있다면 ClusterFlock을 통해 하나의 API 엔드포인트로 통합하여 자원 낭비를 줄일 수 있다.
미션 러너 기능을 사용할 때는 에이전트 모델의 컨텍스트 윈도우를 최소 8K 이상으로 설정하는 것이 결과 품질 확보에 유리하다.

섹션별 상세

이기종 하드웨어 통합을 위해 nCore 오케스트레이터와 각 장치에서 실행되는 에이전트 구조를 채택했다. 에이전트가 각 장치의 VRAM 용량을 자동으로 감지하여 nCore에 등록하면 사용자는 1919 포트의 단일 엔드포인트를 통해 모든 노드의 자원을 활용할 수 있다. 이는 Linux 박스, Mac Studio, Jetson 등 파편화된 로컬 장비들을 하나의 API 뒤로 숨겨 관리 효율성을 극대화했다.

VRAM 인지형 모델 자동 배포 기능을 통해 하드웨어 사양에 최적화된 모델을 실행한다. 에이전트는 Hugging Face에서 적절한 모델을 가져와 llama-server를 구동하며 8GB VRAM 카드에 8B Q4 모델을 무리하게 할당하지 않도록 안전 마진을 두어 컨텍스트 윈도우를 확보한다. 사용자는 클러스터 전체에 걸쳐 원하는 TPS(초당 토큰 수) 목표를 설정하여 성능을 조율하는 것이 가능하다.

미션 시스템(Mission System)을 도입하여 복잡한 작업을 병렬로 처리하고 결과를 취합한다. 가장 성능이 좋은 모델을 쇼러너(Showrunner)로 지정하고 나머지 모델들에 역할과 도구 접근 권한을 부여하여 협업하게 만드는 구조이다. 팬아웃(Fan-Out) 방식을 통해 여러 모델이 동시에 쿼리를 처리하며 설정된 타이머가 만료되면 쇼러너가 확장된 컨텍스트를 바탕으로 최종 응답을 생성한다.

보안과 경량화를 위해 오케스트레이터는 외부 파이썬 의존성 없이 표준 라이브러리만으로 설계됐다. 에이전트 또한 모델 다운로드를 위한 최소한의 라이브러리만 사용하여 공급망 공격 위험을 줄였으며 모든 작업은 일회용 Docker 컨테이너 내에서 실행된다. 이는 모델을 쪼개는 텐서 병렬화 방식이 아니라 여러 모델 간의 지능적 라우팅과 부하 분산에 집중한 분산 사고(Distributed Thinking) 방식이다.

용어 해설

비디오 램(VRAM): — GPU가 그래픽 처리 및 AI 모델 연산을 위해 사용하는 전용 메모리이다. 모델의 파라미터 크기와 컨텍스트 길이를 결정하는 핵심 자원이며 부족할 경우 모델 실행이 불가능하거나 속도가 급격히 저하된다.
오케스트레이터(Orchestrator): — 여러 개의 서비스나 컴퓨팅 자원을 중앙에서 제어하고 조율하는 시스템이다. 이 프로젝트에서는 nCore가 각 노드의 에이전트를 관리하고 API 요청을 적절한 모델로 분배하는 역할을 수행한다.
OpenAI 호환 API(OpenAI-compatible API): — OpenAI의 ChatGPT API와 동일한 입출력 형식을 사용하는 인터페이스이다. 이를 통해 기존에 개발된 수많은 AI 애플리케이션과 IDE 도구들을 코드 수정 없이 로컬 클러스터에 즉시 연결할 수 있다.
텐서 병렬화(Tensor Parallelism): — 하나의 거대한 모델 가중치를 여러 개의 GPU에 나누어 실시간으로 연산하는 기술이다. ClusterFlock은 이 방식 대신 여러 모델 간에 요청을 나누는 라우팅 방식을 채택했음을 명시했다.
부하 분산(Load Balancing): — 들어오는 네트워크 트래픽이나 작업 요청을 여러 서버나 모델에 균등하게 나누어 처리 효율을 높이는 기술이다. 특정 노드에 작업이 몰리는 것을 방지하고 전체 시스템의 응답 성능을 최적화한다.

언급된 도구

ClusterFlock추천

이기종 하드웨어 LLM 오케스트레이터

llama.cpp추천

로컬 LLM 추론 엔진 (llama-server)

LM Studio중립

Windows 에이전트용 래퍼