huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF
이미지와 텍스트를 함께 입력받는 대화형 텍스트 생성27B256K 컨텍스트apache-2.0
Qwen/Qwen3.8-27B에 abliteration과 특수 GGUF 양자화를 적용한 uncensored 로컬 실행 모델입니다.
학습 방식 · Qwen/Qwen3.8-27B를 기반으로 TransformerLens 없이 abliteration을 적용해 거부 응답 관련 가중치를 수정한 뒤, GGUF 양자화와 일부 텐서의 BF16 유지 방식을 결합했습니다.
TL;DR
이 모델은 Qwen/Qwen3.8-27B를 기반으로 abliteration을 적용해 거부 응답을 줄인 uncensored GGUF 변형 모델입니다. 첫 15개 레이어는 그대로 두고 MTP와 visual 구성은 수정하지 않았으며, ablation 대상 텐서에는 일반 GGUF 양자화와 다른 보존 방식을 적용했습니다. Q2_K부터 Q8_0까지 제공되고 Q8_0_L은 대상 텐서를 BF16으로 유지해 품질과 용량의 균형을 조정합니다. llama.cpp와 Ollama에서 로컬 실행할 수 있지만 안전 필터가 제한적이므로 연구·테스트와 통제된 환경에 적합합니다.
핵심 포인트
- Qwen/Qwen3.8-27B를 기반으로 abliteration을 적용한 uncensored 변형 모델입니다. 거부 응답을 줄이도록 일부 가중치를 수정했으며 일반적인 안전 최적화 모델과 동작 특성이 다릅니다. 첫 15개 레이어와 MTP·visual 구성은 수정하지 않았습니다.
- GGUF 파일은 Q2_K부터 Q8_0까지 여러 양자화 수준으로 제공됩니다. Ablation 대상인 token_embd, output, ffn_down, ssm_out, attn_output 텐서는 일반 양자화와 다른 방식으로 처리됩니다. Q8_0_L에서는 해당 텐서를 BF16으로 유지해 응답 품질 저하를 줄이는 구성을 사용합니다.
- llama.cpp와 Ollama에서 직접 실행할 수 있어 로컬 추론 환경에 맞춰 선택하기 쉽습니다. llama.cpp 예시는 Q4_K 파일과 262144 컨텍스트 설정을 사용합니다. 다만 특수 텐서 보존 때문에 Q2_K_L 파일이 Q3_K나 Q4_K보다 커질 수 있습니다.
제한사항
- 안전 필터링이 크게 줄어 민감하거나 논란이 있는 출력이 생성될 수 있습니다. 표준 모델처럼 엄격한 안전 최적화를 거치지 않았습니다. 공개 서비스나 보안 요구가 높은 애플리케이션에는 직접 사용하지 말고 출력을 실시간으로 감시해야 합니다.
- 이 모델은 연구·테스트 또는 통제된 환경을 권장 대상으로 삼습니다. 미성년자 대상 서비스와 공공 환경에서는 부적절한 출력이 발생할 수 있습니다. 사용자는 출력의 법적·윤리적 결과와 현지 법규 준수를 직접 책임져야 합니다.
114
Likes
55.3k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
