Gemma 4 12B IT 모델을 로컬에서 가볍게, GGUF 양자화 버전 공개
텍스트 생성 및 대화형 AI 태스크12Bapache-2.0
Google의 Gemma 4 12B IT 모델을 GGUF 형식으로 양자화하여 로컬 환경에서 효율적으로 실행할 수 있도록 최적화한 모델.
핵심 역량
- 대화형 텍스트 생성
- 로컬 환경 추론
- 지시 사항 이행
강점
- QAT 적용으로 일반 양자화 대비 높은 성능 유지
- 로컬 추론 엔진 호환성
훈련 방식
Gemma 4 12B IT 모델을 QAT(Quantization Aware Training) 기법으로 학습한 후 GGUF 형식으로 양자화
알아두면 좋은 것
- GGUF 형식으로 llama.cpp 등에서 즉시 사용 가능
- QAT(Quantization Aware Training) 기반으로 양자화 성능 저하 최소화
- Apache 2.0 라이선스 적용
155
Likes
299.5k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.