DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NM-DAU-NEO-MTP-GGUF
Qwen3.8-27B 기반 GGUF fine-tune으로 reasoning token을 줄이고 다중 사고 모드와 Vision을 지원
학습 방식 · Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored를 기반으로 COLD FUSION의 GAIN 방식, Unsloth trainer, Fable Fusion 711 학습, multi-stage fine-tune, multi-stage merge, Heretic·ARA 조정을 결합했습니다.
TL;DR
Qwen3.8-27B를 기반으로 한 multi-stage fine-tune·multi-stage merge·GGUF 양자화 모델로, COLD FUSION과 Fable Fusion 학습을 거쳐 reasoning token을 줄이면서 답변 세부 수준을 유지하도록 조정했습니다. 5가지 reasoning mode와 5가지 instruct mode를 API 또는 `{REASON:xxx}` 형식으로 전환할 수 있으며, MTP GGUF는 여러 token을 함께 예측해 생성 속도를 높입니다. 256K context와 Vision을 지원하고, 이미지 입력에는 별도 `mmproj` 파일이 필요합니다. Nightmedia 측정에서 mxfp8 기준 ARC-C 0.709, IFBench 0.795, LiveCodeBench v6 0.903을 기록했지만, MTP의 tool calling은 낮은 양자화 수준에서 불안정할 수 있습니다.
핵심 포인트
- COLD FUSION과 Fable Fusion 기반의 multi-stage fine-tune·merge로 instruction following, problem solving, reasoning을 조정했습니다.
- `spoon`, `einstein`, `xhigh`, `medium`, `low`를 포함한 5가지 reasoning mode와 instruct mode를 API 또는 `{REASON:xxx}`로 전환합니다.
- Regular GGUF와 MTP GGUF를 함께 제공하며, Q4_K_S 기준 regular 약 75 t/s, MTP는 token acceptance 60%에서 90 T/S를 넘을 수 있습니다.
- mxfp8 기준 ARC-C 0.709, BoolQ 0.914, HellaSwag 0.827, PIQA 0.834, WinoGrande 0.779을 기록했습니다.
제한사항
- 이 모델 버전의 Stage 2 측정에서 refusals 68/100으로 나타나 별도 ULTRA-HERETIC 버전보다 거부 감소 폭이 작습니다.
- MTP GGUF는 token acceptance가 50% 아래로 떨어지면 regular GGUF보다 느려질 수 있고, 낮은 양자화 수준에서는 tool calling 문제가 생길 수 있습니다.
- Vision을 쓰려면 GGUF와 같은 폴더에 별도 `mmproj` 파일을 내려받아야 합니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| ARC-C | mxfp8 accuracy | 0.709 | Qwen3.8-27B mxfp8 0.591 |
| ARC-C | mxfp4 accuracy | 0.701 | Qwen3.8-27B mxfp4 0.581 |
| ARC-E | mxfp8 accuracy | 0.876 | Qwen3.8-27B mxfp8 0.782 |
| BoolQ | mxfp8 accuracy | 0.914 | Qwen3.8-27B mxfp8 0.896 |
| HellaSwag | mxfp8 accuracy | 0.827 | Qwen3.8-27B mxfp8 0.746 |
| OpenBookQA | mxfp8 accuracy | 0.524 | Qwen3.8-27B mxfp8 0.448 |
| PIQA | mxfp8 accuracy | 0.834 | Qwen3.8-27B mxfp8 0.801 |
| WinoGrande | mxfp8 accuracy | 0.779 | Qwen3.8-27B mxfp8 0.711 |
92
LIKES
31.8k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
