KoboldCPP

llama.cpp를 기반으로 구축된 경량화된 LLM 추론 서버 및 웹 인터페이스이다. 로컬 환경에서 다양한 오픈소스 모델을 효율적으로 구동할 수 있도록 최적화되어 있다.