raullenchai/Rapid-MLX
Python0 / 0
Apple Silicon의 통합 메모리와 Metal 커널을 활용하여 로컬 환경에서 초고속 추론과 도구 호출을 지원하는 OpenAI 호환 추론 엔진이다.
핵심 포인트
- Ollama 대비 최대 4.2배 빠른 추론 속도 제공
- 프롬프트 캐싱 및 DeltaNet 상태 스냅샷으로 0.08초 수준의 TTFT 달성
- 17가지 파서를 통한 100% 성공률의 도구 호출 및 자동 복구 수행
- 로컬 처리 한계 초과 시 클라우드 모델로 자동 전환하는 스마트 라우팅 실행
1.5k
STARS
207
FORKS
+497
TRENDING
0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
