내 컴퓨터에서 어떤 LLM이 가장 잘 돌아갈까? 한 줄 명령어로 확인하는 llmfit
AI Tool·Rust3 / 0
사용자의 CPU, RAM, GPU 사양을 자동 감지하여 수백 개의 오픈소스 모델 중 최적의 성능과 품질을 제공하는 모델을 추천합니다.
주요 기능
- 시스템 하드웨어(CPU, RAM, NVIDIA/AMD/Intel/Apple GPU) 및 가속 백엔드를 자동 감지함
- 모델별 품질, 속도, 적합도, 컨텍스트 용량을 종합하여 0-100점 사이의 복합 점수를 부여함
- Plan 모드를 통해 특정 모델 실행에 필요한 최소/권장 하드웨어 사양과 업그레이드 필요량을 계산함
- Ollama, llama.cpp, MLX 등 로컬 런타임과 연동하여 설치된 모델을 관리하고 새 모델을 다운로드함
- llmfit serve 명령어로 노드별 하드웨어 정보와 최적 모델 목록을 제공하는 REST API 서버를 실행함
사용 사례
- 로컬 환경에서 자신의 GPU VRAM에 맞는 가장 높은 품질의 양자화 모델을 찾고 싶을 때
- 특정 LLM을 원활하게 구동하기 위해 필요한 하드웨어 업그레이드 사양을 미리 계산할 때
- 여러 대의 서버 노드 중 특정 모델을 실행하기에 가장 적합한 노드를 API로 자동 선택할 때
27.3k
Stars
1.7k
Forks
+241
Trending
3
조회수
27.3k watchers72 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.