128B 거대 모델을 로컬에서, Mistral Medium 3.5 GGUF 양자화 버전
다국어 텍스트 생성 및 대화128Bother
Mistral Medium 3.5 128B 모델을 llama.cpp 등에서 효율적으로 실행할 수 있도록 GGUF 형식으로 양자화한 모델이다.
핵심 역량
- 멀티턴 대화
- 다국어 텍스트 생성
- 복잡한 추론 및 문제 해결
- 문서 요약 및 분석
강점
- GGUF 형식을 통해 VRAM이 부족한 환경에서도 시스템 메모리(RAM)를 활용한 추론 가능
- imatrix 적용으로 단순 양자화 대비 높은 당착도 유지
- FP8 및 다양한 비트 수의 양자화 옵션 제공으로 하드웨어 맞춤형 선택 가능
훈련 방식
Mistral Medium 3.5 128B 기반 GGUF 양자화 및 imatrix 최적화
알아두면 좋은 것
- 한국어를 포함하여 영어, 프랑스어, 독일어, 일본어 등 20개 이상의 다국어 지원
- imatrix(Importance Matrix)를 활용한 양자화로 정밀도 손실 최적화
- llama.cpp 및 GGUF 호환 인퍼런스 엔진에서 실행 가능
- Mistral Medium 3.5 128B 원본 모델의 가중치를 기반으로 제작
41
Likes
35.6k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.