Gemma-4-31B-it Abliterated GGUF 모델 공개

작성자의 새로운 모델 공유에 대해 긍정적인 반응이 예상되며, 특히 mlabonne의 기법을 최신 모델에 적용한 점에 대해 관심이 집중되고 있다.

• 거절 반응이 없는 모델을 원한다면 Orthogonalized Representation Intervention 기법이 적용된 모델을 사용한다.
• 로컬 환경의 VRAM 용량에 따라 Q4_K_M 또는 Q8_0 양자화 버전을 선택하여 실행 가능하다.

• Gemma-4-31B-it 모델의 거절 메커니즘을 제거한 Abliterated 버전이 GGUF 형식으로 배포됐다.
• mlabonne의 Orthogonalized Representation Intervention 기법을 적용하여 모델의 원래 성능 저하를 최소화하며 가드레일을 수정했다.
• FP16, Q8_0, Q4_K_M 등 다양한 양자화 옵션을 제공하여 로컬 하드웨어 사양에 맞춰 선택이 가능하다.