prism-ml/Bonsai-8B-mlx-1bit
텍스트 생성8Bapache-2.0
Apple Silicon 기기에서 초경량 로컬 추론이 가능하도록 1-bit 양자화를 적용한 Qwen 기반 8B 언어 모델
학습 방식 · Qwen 기반 모델에 1-bit 양자화 기법을 적용하여 MLX 프레임워크 전용으로 변환
핵심 포인트
- 1-bit 양자화로 메모리 점유율 극소화
- Apple Silicon 통합 메모리 환경에서 최적의 추론 속도 제공
- 8B 모델을 저사양 로컬 기기에서 구동 가능
- 텍스트 생성
163
LIKES
32k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
