DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF
Qwen3.6-27B를 다단계 파인튜닝·병합하고 Heretic/ARA로 무검열화해 ARC-C 700을 4·8비트 모두에서 넘긴 첫 모델.
학습 방식 · Qwen3.6-27B를 기반으로 DavidAU·Nightmedia·TeichAI·armand0e·trohrbaugh가 협업해 다단계 파인튜닝·병합을 거치고, Heretic v1.2.0+custom의 ARA(Arbitrary-Rank Ablation) 기법으로 거부 행동을 줄이는 후처리를 적용했다. Polar-STRICT·F451-STRICT 데이터셋과 소량의 Fable·Claude Opus·GPT-5 트레이스를 함께 사용했다.
TL;DR
Qwen3.6-27B-Fable-Fusion-711은 DavidAU·Nightmedia·TeichAI·armand0e·trohrbaugh가 협업해 Qwen3.6-27B를 다단계 파인튜닝·병합하고 Heretic v1.2.0+custom의 ARA(Arbitrary-Rank Ablation) 기법으로 무검열화한 모델로, 4비트·8비트 양자화 모두에서 ARC-C 700을 넘긴 최초의 이 규모 파인튜닝이라고 저자가 밝혔다. Nightmedia가 이 모델의 mxfp8 양자화를 측정한 표에서 ARC-C·ARC-E·BoolQ·HellaSwag·OpenBookQA·PIQA·Winogrande 7개 지표 중 6개에서 원본 Qwen3.6-27B-Instruct를 앞섰고 나머지 하나는 동률이었으며, Qwen3.6-35B-A3B의 7개 지표는 전부 앞섰다. 거부율은 원본 99/100에서 4/100으로 낮아졌고 KL 발산은 0.0469로 측정됐다. Regular와 다중토큰예측(MTP) 두 종류의 NEO IMATRIX GGUF를 제공하며 MTP는 Q4_K_S 기준 90 T/S 이상(RTX 5090)까지 속도를 끌어올리지만 토큰 수락률이 낮으면 오히려 느려질 수 있다. 256k 컨텍스트와 mmproj 기반 비전 입력을 지원해, 로컬 하드웨어에서 27B급 무검열 범용 모델을 돌리려는 사용자에게 맞춰져 있다.
핵심 포인트
- Nightmedia 측정 표에서 7개 지표 중 원본 Qwen3.6-27B 대비 6개 우세·1개 동률이고, Qwen3.6-35B-A3B는 7개 전부 앞섰다.
- 4비트·8비트 양자화 상태에서도 ARC-C 700을 넘긴 것을 이 규모 파인튜닝 최초라고 주장하며, 이름의 '711'이 이 수치에서 나왔다.
- Heretic/ARA로 거부율을 99/100에서 4/100으로 낮추면서 KL 발산 0.0469를 유지해, 검열 완화와 원본 응답 성향 보존을 동시에 노렸다.
- 각 파인튜닝·병합 단계마다 자동 벤치마크와 사람이 직접 비교하는 side-by-side 테스트를 함께 거쳐 '벤치맥싱'으로 인한 품질 손상을 걸러냈다고 설명했다.
제한사항
- MTP GGUF는 토큰 수락률이 낮으면 Regular보다 느려지고, 온도를 1 초과로 올리거나 반복 페널티를 켜면 성능이 급격히 나빠진다.
- 일부 AMD/Vulcan 환경에서 OT 텐서의 CPU 오프로드가 비정상적으로 동작해 처리 속도가 떨어질 수 있어 별도 AMD 전용 양자화판을 따로 제공한다.
- 비전 입력은 테스트됐지만, 별도 mmproj 파일을 GGUF와 같은 폴더에 둬야만 동작해 설정을 빠뜨리면 비전 기능이 작동하지 않는다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| ARC-Challenge | accuracy (mxfp8, instruct) | 0.711 | Nightmedia가 이 모델의 mxfp8 양자화를 측정: 원본 Qwen3.6-27B 0.647, Qwen3.6-35B-A3B 0.581 |
| ARC-Easy | accuracy (mxfp8) | 0.879 | 원본 Qwen3.6-27B 0.803 |
| HellaSwag | accuracy (mxfp8) | 0.790 | 원본 Qwen3.6-27B 0.773 |
| Winogrande | accuracy (mxfp8) | 0.763 | 원본 Qwen3.6-27B 0.742 |
| Refusals | 거부 횟수/100 | 4/100 | 원본 Qwen3.6-27B 99/100 대비 대폭 감소 |
| KL divergence | vs 원본 | 0.0469 | 0에 가까울수록 원본과 유사 |
2.2k
LIKES
2.8M
DOWNLOADS
4 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
