Qwen 3.6 35B MoE 모델을 로컬에서 효율적으로 실행하는 APEX 양자화 버전
멀티모달 대화 및 시각 정보 이해35Bapache-2.0
Qwen 3.6 35B A3B 모델을 GGUF 형식으로 양자화하여 로컬 환경에서 추론 효율성을 극대화한 Mixture-of-Experts 모델이다.
핵심 역량
- 이미지 및 시각 정보 분석
- 멀티턴 대화 수행
- 복잡한 추론 및 문제 해결
- 효율적인 MoE 기반 텍스트 생성
강점
- MoE 구조를 통한 35B 파라미터 대비 빠른 추론 속도
- GGUF 포맷 지원으로 CPU/GPU 하이브리드 추론 가능
- Apache 2.0 라이선스로 자유로운 배포 및 활용
훈련 방식
Qwen 3.6 35B A3B 기반의 APEX 양자화 및 GGUF 포맷 변환
알아두면 좋은 것
- Qwen 3.6 35B A3B 기반의 Mixture-of-Experts 구조 적용
- llama.cpp 등 GGUF 지원 런타임에서 실행 가능
- Apache 2.0 라이선스로 상업적 이용 가능
- APEX 양자화 공정을 통한 추론 최적화
81
Likes
107.5k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.