추론 백엔드
LLM 모델을 실제로 로드하고 실행하여 텍스트 생성 등의 작업을 수행하는 엔진이나 서버 소프트웨어를 의미한다.
50MB RAM으로 로컬 LLM 여러 대를 하나처럼 관리하는 Olla