TL;DR

llmfit은 로컬 LLM이 자신의 하드웨어에서 실행 가능한지 판단하는 Rust 기반 standalone CLI tool입니다. RAM, CPU, GPU와 VRAM을 감지한 뒤 모델의 메모리 적합성, 예상 속도, 품질, 컨텍스트를 함께 계산해 TUI 또는 CLI 순위로 출력합니다. Ollama와 llama.cpp 등 여러 runtime provider를 지원하고 JSON 출력으로 스크립트와 에이전트에도 연결할 수 있습니다. 추정값은 실제 실행 측정값으로 보정할 수 있으므로 모델 선택 도구와 로컬 벤치마크 도구를 함께 찾는 경우 적합합니다.

핵심 포인트

• llmfit은 Rust로 작성된 standalone CLI tool이며 특정 LLM 생태계에 종속되지 않습니다. 하드웨어의 RAM, CPU, GPU와 VRAM을 감지해 로컬 실행에 맞는 모델을 찾습니다. 기본 TUI와 스크립트용 CLI를 함께 제공해 대화형 탐색과 자동화를 모두 지원합니다.
• 모델마다 메모리 적합성, 예상 속도, 품질, 컨텍스트를 계산해 순위를 매깁니다. Multi-GPU와 MoE 구조를 반영하고 양자화 선택도 동적으로 처리합니다. 속도 추정값의 입력과 검증 명령을 `llmfit info`에서 확인할 수 있어 단순한 모델 목록보다 선택 근거가 분명합니다.
• `llmfit recommend --json`은 에이전트와 스크립트가 소비할 수 있는 추천 결과를 출력합니다. `fit`, `info`, `bench`, `doctor` 명령으로 전체 순위 확인, 개별 모델 분석, 실제 tok/s 측정, 하드웨어 진단을 나눠 실행합니다. Docker와 Podman에서는 JSON 출력과 TUI 실행을 각각 지원합니다.
• Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio 같은 로컬 runtime provider와 연결됩니다. 사용자가 모델을 다운로드하고 실행한 뒤 측정한 tok/s를 PR로 공유하면 커뮤니티 측정값이 추정치를 대체합니다. 다만 README에 공개된 고정 성능 수치는 없으므로 실제 속도는 `llmfit bench`로 자신의 환경에서 확인해야 합니다.