prism-ml/Ternary-Bonsai-8B-mlx-2bit
텍스트 생성 및 대화형 추론8Bapache-2.0
Apple Silicon 환경에서 MLX 프레임워크를 통해 1.58-bit 양자화로 구동되는 고효율 8B 언어 모델.
학습 방식 · Ternary-Bonsai-8B-unpacked 기반 1.58-bit ternary 양자화 적용
핵심 포인트
- 1.58-bit 양자화로 극도로 낮은 메모리 점유율 구현
- Apple Silicon 환경에서 최적화된 추론 성능
- 텍스트 생성
- 대화형 추론
84
LIKES
12.7k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
