Qwen 3.6 35B MoE 모델을 로컬에서 실행하는 TurboQuant 양자화 버전
이미지 및 텍스트 이해 기반 텍스트 생성35Bapache-2.0
Qwen 3.6 35B A3B 모델을 TurboQuant(TQ3_4S) 기법으로 양자화하여 로컬 환경에서 효율적인 이미지 및 텍스트 처리를 지원하는 GGUF 모델이다.
핵심 역량
- 이미지 캡셔닝 및 시각적 질의응답
- 멀티턴 텍스트 대화
- 이미지 내 텍스트 인식 및 분석
- 복합적인 시각 정보 기반 추론
강점
- TQ3_4S 양자화로 원본 대비 대폭 감소한 VRAM 요구 사양
- MoE 구조를 통한 빠른 토큰 생성 속도
- GGUF 포맷 지원으로 다양한 로컬 추론 도구와 호환
훈련 방식
Qwen 3.6 35B A3B 기반 TurboQuant(TQ3_4S) 양자화 및 imatrix 최적화
알아두면 좋은 것
- TurboQuant TQ3_4S 양자화 방식 적용
- llama.cpp 및 GGUF 호환 환경에서 실행 가능
- Importance Matrix(imatrix)를 통한 양자화 손실 최소화
- Apache 2.0 라이선스 기반의 오픈소스 모델
60
Likes
6k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.