Michael-A-Kuykendall/shimmy
Rust0 / 0
Rust로 작성된 Shimmy는 의존성 없이 단일 바이너리로 실행되며 GGUF 모델을 OpenAI API 규격으로 서빙하는 초경량 추론 엔진이다.
핵심 포인트
- 단일 바이너리 실행으로 Python이나 복잡한 라이브러리 설치 없이 즉시 구동
- CUDA, Vulkan, OpenCL, MLX 등 다양한 GPU 백엔드를 런타임에 자동 감지 및 선택
- CPU MOE Offloading 기능을 통해 VRAM 용량을 초과하는 대형 모델의 하이브리드 추론 수행
- OpenAI API와 100% 호환되어 기존 SDK나 Cursor, VS Code 확장 도구의 엔드포인트만 변경하여 사용
4.5k
STARS
398
FORKS
+526
TRENDING
0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
