Gemma 4 26B의 강력한 멀티모달 성능을 로컬에서 경험하는 GGUF 양자화 모델
이미지 및 비디오 기반 텍스트 생성26Bapache-2.0
Google의 Gemma 4 26B MoE 모델을 기반으로 동적 양자화와 거부 방지 기술을 적용한 멀티모달 추론 모델이다.
핵심 역량
- 이미지 분석 및 설명 생성
- 비디오 시퀀스 이해 및 질의응답
- 멀티턴 대화 수행
- 제약 없는 텍스트 생성
강점
- MoE 구조를 통한 26B 규모 대비 빠른 추론 속도
- GGUF 포맷 지원으로 다양한 로컬 추론 환경 호환성 확보
- 동적 양자화를 통한 정밀도 손실 최소화 및 VRAM 절감
훈련 방식
Gemma 4 26B 기반의 PRISM-PRO-DQ 동적 양자화 및 Abliterated 파인튜닝 적용
알아두면 좋은 것
- Google Gemma 4 26B-A4B-it 기반의 파인튜닝 및 양자화 버전
- Abliterated 기법 적용으로 모델의 거부 반응(Refusals) 최소화
- PRISM-PRO-DQ 동적 양자화 기술을 통한 메모리 최적화
- Apache 2.0 라이선스로 상업적 이용 가능
64
Likes
4.4k
Downloads
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.