Qwen 3.5 MoE 아키텍처를 로컬에서 최적화된 GGUF로 만나보세요
이미지 및 텍스트 입력을 통한 텍스트 생성35Bapache-2.0
Qwen 3.6 35B A3B 모델을 Unsloth의 imatrix 기법으로 양자화하여 로컬 환경 추론 효율을 극대화한 GGUF 모델이다.
핵심 역량
- 이미지 분석 및 설명 생성
- 멀티턴 대화 수행
- 텍스트 기반 추론 및 질의응답
- 시각 정보 기반의 텍스트 생성
강점
- imatrix 적용으로 일반 양자화 대비 높은 당위성 유지
- MoE 구조를 통한 효율적인 추론 자원 관리
- GGUF 포맷을 통한 로컬 하드웨어 배포 용이성
훈련 방식
Qwen 3.6 35B A3B 기반 Unsloth imatrix 양자화 및 GGUF 변환
알아두면 좋은 것
- Unsloth의 imatrix(Importance Matrix) 기법을 적용하여 양자화 품질 개선
- Qwen 3.5 MoE 아키텍처 기반의 35B 파라미터 규모
- Apache 2.0 라이선스로 상업적 이용 및 수정 가능
- GGUF 포맷 지원으로 llama.cpp 등 다양한 로컬 추론 엔진 호환
1.1k
Likes
2.2M
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.