Gemma 4 E4B 및 E2B 무검열 멀티모달 모델 출시

실용적 조언

llama.cpp 사용 시 --jinja 플래그를 적용하여 템플릿 호환성을 확보할 것
최적의 결과를 위해 temp=1.0, top_p=0.95, top_k=64 샘플링 설정을 권장
K_P 양자화 버전은 파일 크기 대비 품질이 우수하므로 우선적으로 고려할 것

섹션별 상세

"Aggressive" 변형을 통한 완전한 무검열 구현: 작성자는 Google의 원본 릴리스를 기반으로 성격 변화 없이 거절 반응만 제거한 모델을 구축했다. 465회의 거절 테스트에서 0건의 거절을 기록하며 성능 저하 없이 모든 요청에 응답하도록 설계됐다. 이는 모델의 원래 능력을 유지하면서도 안전 필터에 의한 제약을 완전히 해소했음을 의미한다.

네이티브 멀티모달 지원 및 mmproj 포함: E4B와 E2B 모델은 텍스트, 이미지, 비디오, 오디오를 하나의 모델에서 처리할 수 있는 네이티브 멀티모달 구조를 갖추고 있다. 시각 및 오디오 지원을 위해 필수적인 mmproj 파일이 함께 제공되어 llama.cpp 등에서 멀티모달 기능을 즉시 활용할 수 있다. 사용자는 별도의 추가 모델 없이도 다양한 미디어 데이터를 입력으로 사용할 수 있다.

imatrix 기반 K_P 양자화의 효율성: 모든 양자화 버전은 imatrix를 사용하여 생성되었으며, 특히 K_P 양자화는 모델별 분석을 통해 품질이 중요한 부분을 보존한다. 파일 크기는 일반 양자화 대비 5-15%만 증가하지만, 실제 품질은 1-2단계 높은 양자화 수준과 대등한 성능을 나타낸다. 이는 제한된 하드웨어 자원에서도 모델의 원래 성능을 최대한 끌어낼 수 있는 최적화 방식이다.

기술적 사양 및 추론 환경 호환성: E4B는 42개 레이어, E2B는 35개 레이어로 구성되어 있으며 131K의 네이티브 컨텍스트 윈도우를 지원한다. KV 공유 레이어를 통해 메모리 효율성을 높였으며 llama.cpp, LM Studio 등 GGUF 형식을 읽을 수 있는 도구들과 완벽히 호환된다. Google에서 권장하는 샘플링 파라미터(temp=1.0, top_p=0.95)와 --jinja 플래그 사용이 권장된다.

용어 해설

무검열(Uncensored): — AI 모델의 안전 가드레일이나 거절 메커니즘을 제거하여 사용자의 모든 요청에 응답하도록 튜닝된 상태를 의미한다. 특정 주제에 대한 답변 거부를 방지하여 창의적 글쓰기나 연구 목적으로 활용되지만 오용의 위험도 존재한다.
중요도 행렬(imatrix (Importance Matrix)): — 양자화 과정에서 모델의 각 파라미터가 출력 품질에 미치는 중요도를 계산하여 데이터 손실을 최소화하는 기술이다. 특정 데이터셋을 활용해 가중치의 중요도를 분석하며, 이를 통해 낮은 비트수에서도 모델의 원래 성능을 최대한 보존할 수 있게 해준다.
멀티모달(Multimodal): — 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있는 AI 모델의 특성이다. 단일 모델 내에서 여러 감각 정보를 통합하여 더 복잡한 추론이 가능하다.
KV 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 Key와 Value 정보를 메모리에 저장하여 중복 계산을 방지하는 기술이다. 이 모델은 레이어 간 KV 정보를 공유하는 구조를 채택하여 메모리 사용량을 줄이고 더 긴 문맥을 효율적으로 처리할 수 있게 한다.

언급된 도구

llama.cpp추천

추론 엔진

LM Studio추천

모델 실행 도구

Ollama중립

모델 실행 도구

언급된 리소스

문서Gemma 4 E4B Uncensored (Hugging Face)

문서Gemma 4 E2B Uncensored (Hugging Face)