prism-ml/Bonsai-8B-gguf
텍스트 생성 및 대화8Bapache-2.0
Bonsai 8B 모델을 1-bit 수준으로 극단적 양자화하여 모바일 및 온디바이스 환경에서 메모리 효율을 극대화한 GGUF 포맷 모델이다.
학습 방식 · Bonsai 8B 기반 1-bit 양자화 및 GGUF 포맷 변환
핵심 포인트
- 1-bit 양자화로 동급 8B 모델 대비 획기적인 메모리 절감
- Apple Metal 및 CUDA 가속 지원으로 다양한 하드웨어 호환성 확보
- Apache 2.0 라이선스 기반의 자유로운 활용성
- 텍스트 생성
660
LIKES
101k
DOWNLOADS
2 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
