Google Gemma 4 31B IT 기반 GGUF 양자화 모델: 로컬 추론 최적화
이미지 및 텍스트 입력 기반 텍스트 생성31Bapache-2.0
Google의 Gemma 4 31B IT 모델을 QAT 기법으로 4비트 양자화하여 로컬 환경에서 효율적으로 실행 가능한 GGUF 형식의 멀티모달 모델.
핵심 역량
- 이미지 이해 및 텍스트 생성
- 멀티모달 대화
- 로컬 환경에서의 효율적 추론
강점
- 4비트 양자화로 VRAM 요구량 대폭 감소
- GGUF 포맷을 통한 로컬 실행 최적화
훈련 방식
Gemma 4 31B IT 기반 QAT(Quantization Aware Training) 적용 및 4비트 양자화
알아두면 좋은 것
- QAT(Quantization Aware Training) 적용으로 정밀도 손실 최소화
- GGUF 형식으로 llama.cpp 등 다양한 로컬 추론 엔진 지원
- Apache 2.0 라이선스 적용
64
Likes
45.6k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.