Apple Silicon에서 1.58-bit로 구동하는 초경량 언어 모델
텍스트 생성 및 대화형 추론8Bapache-2.0
Apple Silicon 환경에서 MLX 프레임워크를 통해 1.58-bit 양자화로 구동되는 고효율 8B 언어 모델.
핵심 역량
- 텍스트 생성
- 대화형 추론
- 온디바이스 추론
강점
- 1.58-bit 양자화로 극도로 낮은 메모리 점유율 구현
- Apple Silicon 환경에서 최적화된 추론 성능
훈련 방식
Ternary-Bonsai-8B-unpacked 기반 1.58-bit ternary 양자화 적용
알아두면 좋은 것
- Apple Silicon 환경 전용
- 1.58-bit ternary 양자화 적용
- Apache 2.0 라이선스
84
Likes
12.7k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.