jundot/omlx 트렌딩 분석

Homebrew를 통해 설치하고 백그라운드 서비스로 등록하여 시스템 시작 시 자동 실행한다.

메모리가 가득 차면 KV 캐시 블록을 SSD로 오프로딩하고, 동일한 접두사 요청 시 재계산 없이 즉시 복구한다.

LLM, VLM, 임베딩, 리랭커 등 다양한 유형의 모델을 동시에 서빙하며 LRU 기반으로 메모리를 자동 관리한다.