DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF
Qwen3.5-9B를 다단계 병합·Heretic 후처리한 무검열 파인튜닝으로 상식 벤치마크 점수를 27B급까지 끌어올린 모델.
학습 방식 · Qwen3.5-9B를 시작점으로 저자의 여러 9B 파인튜닝 결과를 로컬에서 다단계 병합한 뒤, 거부 행동을 줄이는 Heretic 후처리를 적용했다.
TL;DR
이 모델은 Qwen3.5-9B에 저자 자신의 여러 9B 파인튜닝 결과를 다단계로 병합하고 Heretic 방식의 거부 완화 후처리를 더한 무검열 변형이다. 저자가 직접 측정해 실은 ARC-Challenge·ARC-Easy·BoolQ·HellaSwag·OpenBookQA·PIQA·Winogrande 7개 벤치마크 표를 보면 bf16 기준으로 원본 Qwen3.5-9B-Instruct와 Qwen3.5-27B-Instruct를 대체로 앞서지만, Qwen3.6-27B·Qwen3.6-35B-A3B와는 ARC 계열에서 이기고 HellaSwag·PIQA에서 뒤지는 등 항목별로 우열이 갈린다. 거부율은 원본의 100/100에서 6/100으로 낮아졌고 KL 발산은 0.0793으로 측정돼, 검열이 크게 풀리면서도 원본 응답 분포에서 크게 벗어나지 않았다고 주장한다. NEO IMATRIX 방식으로 양자화한 Regular GGUF와 다중토큰예측(MTP) GGUF 두 버전을 제공하며, MTP는 Q4_K_S 기준 185 T/S 이상(RTX 5090)까지 속도를 높이지만 토큰 수락률이 50% 밑으로 떨어지면 오히려 Regular보다 느려질 수 있다. 256k 네이티브 컨텍스트와 별도 mmproj 파일을 통한 비전 입력을 지원해, 검열 없는 창작·롤플레잉과 로컬 고속 추론을 함께 원하는 사용자에게 맞춰져 있다.
핵심 포인트
- 7개 상식·추론 벤치마크에서 원본 9B와 Qwen3.5-27B를 상회했고 Qwen3.6-27B·35B-A3B와는 항목별로 우열이 갈린다.
- Heretic 후처리로 거부율을 100/100에서 6/100으로 낮추면서 원본과의 KL 발산은 0.0793으로 유지했다.
- Regular NEO IMATRIX GGUF와 다중토큰예측(MTP) GGUF를 함께 제공하며, MTP는 토큰 수락률이 충분할 때만 더 빠르다.
- 완전 무검열을 표방하지만 자극적인 표현은 원하는 단어·강도를 직접 지시해야 나온다고 저자가 명시했다.
제한사항
- 완전 무검열을 표방하지만 기본 설정만으로는 출력이 '무난'해질 수 있어, 원하는 표현 강도나 단어를 직접 지시해야 기대한 수준의 콘텐츠가 나온다.
- MTP GGUF는 토큰 수락률이 50% 밑으로 떨어지면 Regular GGUF보다 느려지고, 온도를 1 초과로 올리거나 반복 페널티(rep_pen)를 켜면 성능이 급격히 나빠진다.
- 비전 입력은 테스트됐지만 비디오 입력은 테스트되지 않았다고 저자가 직접 밝혔다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| ARC-Challenge | accuracy (bf16) | 0.649 | 저자 자체 측정 표: 원본 Qwen3.5-9B-Instruct 0.571, Qwen3.6-27B-Instruct 0.647 |
| ARC-Easy | accuracy (bf16) | 0.832 | 저자 자체 측정 표: 원본 0.719 |
| HellaSwag | accuracy (bf16) | 0.713 | 원본 0.683보다 높지만 Qwen3.6-27B 0.773·35B-A3B 0.751보다는 낮음 |
| Winogrande | accuracy (bf16) | 0.699 | 원본 0.671보다 높지만 Qwen3.6-27B 0.742보다는 낮음 |
| Refusals | 거부 횟수/100 | 6/100 | 원본 Qwen3.5-9B 100/100 대비 대폭 감소 |
| KL divergence | vs 원본 | 0.0793 | 0에 가까울수록 원본과 유사 |
370
LIKES
507.5k
DOWNLOADS
4 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
