unsloth/Mistral-Medium-3.5-128B-GGUF
다국어 텍스트 생성 및 대화128Bother
Mistral Medium 3.5 128B 모델을 llama.cpp 등에서 효율적으로 실행할 수 있도록 GGUF 형식으로 양자화한 모델이다.
학습 방식 · Mistral Medium 3.5 128B 기반 GGUF 양자화 및 imatrix 최적화
핵심 포인트
- GGUF 형식을 통해 VRAM이 부족한 환경에서도 시스템 메모리(RAM)를 활용한 추론 가능
- imatrix 적용으로 단순 양자화 대비 높은 당착도 유지
- FP8 및 다양한 비트 수의 양자화 옵션 제공으로 하드웨어 맞춤형 선택 가능
- 멀티턴 대화
41
LIKES
35.6k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
