llama.cpp 서버의 새로운 기능: 모델 관리 및 라우터 모드 도입

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

llama.cpp 서버에 모델 관리 기능을 제공하는 '라우터 모드(Router Mode)'가 도입되었다. 이 기능을 통해 사용자는 서버를 재시작하지 않고도 여러 GGUF 모델을 동적으로 로드하거나 언로드할 수 있으며, API 요청의 모델 필드에 따라 특정 모델로 자동 라우팅이 가능하다. 멀티 프로세스 아키텍처를 채택하여 개별 모델의 충돌이 전체 서버에 영향을 주지 않도록 설계되었으며, LRU 방식의 자동 메모리 관리 기능을 통해 한정된 VRAM 자원을 효율적으로 활용한다.

배경

llama.cpp 및 llama-server 사용 경험, GGUF 모델 포맷에 대한 이해, REST API 및 curl 명령어 사용법

대상 독자

로컬 환경 또는 서버에서 llama.cpp를 사용하여 LLM을 서빙하는 개발자 및 MLOps 엔지니어

의미 / 영향

llama.cpp가 Ollama와 유사한 수준의 편의성을 갖추게 됨으로써, 경량화된 로컬 서빙 환경에서도 복잡한 모델 관리 로직을 직접 구현할 필요가 없어졌다. 이는 소규모 인프라에서 다양한 모델을 실험하거나 배포해야 하는 개발자들에게 강력한 도구가 될 것이다.

섹션별 상세

라우터 모드는 OpenAI 호환 HTTP 서버인 llama-server에서 여러 모델을 동시에 관리할 수 있게 한다. 서버 시작 시 모델을 지정하지 않으면 라우터 모드로 진입하며, 캐시 디렉토리나 지정된 폴더 내의 GGUF 파일들을 자동으로 검색하여 목록화한다.

온디맨드 로딩 방식을 사용하여 특정 모델에 대한 첫 번째 API 요청이 들어올 때 해당 모델을 메모리에 로드한다. 이후 동일한 모델에 대한 요청은 이미 로드된 상태이므로 즉각적으로 처리되며, 사용자는 /models 엔드포인트를 통해 현재 로드된 모델의 상태를 확인할 수 있다.

bash

llama-server --models-dir ./my-models

특정 디렉토리 내의 GGUF 모델들을 자동으로 감지하여 라우터 모드로 서버를 시작하는 명령어

bash

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ggml-org/gemma-3-4b-it-GGUF:Q4_K_M",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

특정 모델을 지정하여 채팅 추론을 요청하는 API 예시

멀티 프로세스 아키텍처를 기반으로 각 모델이 독립된 프로세스에서 실행된다. 이는 특정 모델이 추론 중 오류로 인해 크래시가 발생하더라도 메인 라우터 서버와 다른 모델 프로세스의 안정성을 보장하는 핵심적인 설계 요소이다.

LRU(Least Recently Used) 기반의 자동 언로드 메커니즘을 지원한다. --models-max 옵션으로 설정된 최대 로드 개수를 초과하여 새로운 모델 로드가 요청될 경우, 가장 오랫동안 사용되지 않은 모델을 자동으로 메모리에서 해제하여 VRAM 공간을 확보한다.

ini

llama-server --models-preset config.ini

[my-model]
model = /path/to/model.gguf
ctx-size = 65536
temp = 0.7

프리셋 파일을 사용하여 모델별로 개별 설정을 적용하는 방법

모델별 개별 설정 기능을 제공한다. presets.ini 파일을 통해 각 모델마다 서로 다른 컨텍스트 크기(ctx-size), GPU 레이어 할당(ngl), 샘플링 파라미터 등을 정의할 수 있으며, 별도 설정이 없는 경우 서버 시작 시의 전역 설정을 상속받는다.

실무 Takeaway

A/B 테스트 효율화: 서버 재시작 없이 다양한 모델과 양자화 버전을 즉시 전환하며 성능을 비교할 수 있어 개발 및 평가 워크플로우가 대폭 단축된다.
VRAM 자원 최적화: LRU 기반 자동 언로드 기능을 활용하여 제한된 GPU 메모리 환경에서도 여러 모델을 번갈아 가며 서빙하는 멀티 테넌트 환경을 구축할 수 있다.
시스템 안정성 확보: 멀티 프로세스 구조를 통해 개별 모델의 장애가 전체 서비스 중단으로 이어지지 않도록 격리하여 프로덕션 환경의 신뢰성을 높일 수 있다.

언급된 리소스

GitHubllama.cpp GitHub Repository