119B 파라미터의 강력한 성능을 로컬 환경에서 구현하는 Unsloth GGUF 양자화
다국어 텍스트 생성 및 대화형 추론119Bapache-2.0
Mistral Small 4 119B 모델을 GGUF 형식으로 양자화하여 로컬 추론 효율성을 극대화한 모델이다.
핵심 역량
- 멀티턴 대화 수행
- 한국어 포함 다국어 텍스트 생성
- 복잡한 추론 및 문제 해결
- 로컬 환경에서의 고속 추론
강점
- 119B급 성능을 GGUF 양자화로 VRAM 요구량 대폭 절감
- Imatrix 적용으로 동급 양자화 모델 대비 높은 정확도 유지
- Apache 2.0 라이선스의 자유로운 활용성
훈련 방식
Mistral-Small-4-119B-2603 기반 Unsloth Imatrix GGUF 양자화
알아두면 좋은 것
- Apache 2.0 라이선스로 상업적 이용 가능
- 한국어, 일본어, 중국어 등 광범위한 다국어 지원
- Imatrix 기술 적용으로 양자화 효율 및 품질 개선
- Unsloth 최적화를 통한 메모리 점유율 감소
39
Likes
26.6k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.