TL;DR

Gemma 4 12B Unified는 Google DeepMind가 설계한 멀티모달 Gemma 4 계열의 12B 변형으로, Unsloth가 GGUF 형태로 배포해 로컬 환경에서 텍스트·이미지·오디오 입력을 모두 처리할 수 있도록 구성되었다. 이 모델은 인코더를 제거하고 이미지 패치와 오디오 파형을 경량 선형 투영으로 디코더 임베딩에 직접 넣는 '인코더-프리' 설계를 채택해 멀티모달 파이프라인 지연을 줄이고 전체 모델을 한 번에 fine-tune할 수 있다. 아키텍처 측면에서 Gemma 4 12B는 로컬 슬라이딩 윈도우와 전역 어텐션을 교차 적용하는 하이브리드 어텐션을 사용하며, unified Keys/Values와 Proportional RoPE로 256K 토큰 크기의 긴 컨텍스트 메모리를 최적화했다. 모델 패밀리는 Dense와 MoE 변형을 포함하며, 12B Unified는 이미지·오디오·텍스트를 네이티브로 수용하고 다양한 벤치마크(MMLU 77.2%, LiveCodeBench 72.0%, Codeforces ELO 1659 등)에서 중형 모델로서 균형 잡힌 성능을 보였다. 이 배포는 GGUF 포맷과 llama.cpp/llama-server 호환성을 통해 로컬 추론을 즉시 가능하게 하고, 멀티모달 토큰 예산(70–1120)과 오디오/비디오 길이 제한(오디오 30초, 비디오 60초)을 통해 실전 활용에서 품질·속도를 조정할 수 있다. 트레이드오프로는 모델이 여전히 사전학습 데이터와 지침튜닝 범위에 따라 편향·사실성 한계를 가지며, 최종 안전성·정확성 보장은 애플리케이션 레벨의 검증이 필요하다.

핵심 포인트

• 인코더-프리 unified 흐름으로 이미지·오디오를 별도 인코더 없이 디코더에 직접 투영해 멀티모달 파이프라인을 단순화함
• 12B 모델에서 256K 토큰까지 지원해 중형 모델임에도 장문 처리 능력을 확보함
• Unsloth가 GGUF 형태로 배포하며 llama.cpp/llama-server에서 mmproj를 자동으로 받아 로컬 멀티모달 실행이 즉시 가능함
• Dense와 MoE 변형을 같은 가족으로 제공해 배포 시 성능·지연 요구에 맞춰 선택할 수 있음

벤치마크

이미지 분석