본문으로 건너뛰기

llama-server

라마 서버

llama.cpp 프로젝트에서 제공하는 경량 HTTP 서버로, 로컬 환경에서 LLM을 API 형태로 서빙하여 다른 애플리케이션과 연동할 수 있게 한다.