manjunathshiva/gpt-oss-20b-tq3
텍스트 생성 및 대화형 AI20Bapache-2.0
OpenAI의 GPT-OSS 20B 모델을 MLX 프레임워크 기반 3-bit로 양자화하여 Apple 실리콘 환경에서 효율적인 추론이 가능하도록 최적화한 모델이다.
학습 방식 · OpenAI GPT-OSS 20B 기반 MLX 프레임워크를 활용한 3-bit TurboQuant 양자화
핵심 포인트
- 3-bit 양자화를 통한 저용량 메모리 점유
- Apple M 시리즈 칩셋에서의 하드웨어 가속 지원
- MoE 구조를 통한 파라미터 대비 빠른 추론 속도
- 텍스트 생성
45
LIKES
2.5k
DOWNLOADS
2 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
