DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF
이미지와 텍스트를 함께 처리하는 27B Vision-Language 모델로, 코딩·추론·에이전트 작업과 창작 생성에 사용됩니다.27B262K 컨텍스트apache-2.0
COLD FUSION으로 추론 길이와 GGUF 실행 비용을 줄인 Qwen3.8-27B Vision 모델
학습 방식 · Qwen3.8-27B 기반 COLD FUSION Fine-tuning으로, GAIN의 샘플별 동적 학습 조정과 Unsloth trainer를 결합하고 Polar-STRICT-Datasets 및 Reasoning-STRICT-Datasets를 사용했습니다.
TL;DR
이 모델은 Qwen3.8-27B를 기반으로 COLD FUSION과 GAIN·Unsloth 학습을 적용한 다단계 Fine-tune GGUF입니다. 샘플별 동적 학습으로 지시 이행과 문제 해결을 조정하면서 과도한 추론 블록을 줄였고, README는 일반 Qwen3.8 대비 사고 토큰이 1/5에서 1/2 수준, 일부 조건에서는 1/10까지 감소했다고 밝힙니다. Regular GGUF와 MTP GGUF, xhigh·medium·low reasoning 모드를 제공하며 Q4_K_S에서 각각 약 75 t/s와 90 t/s 이상의 속도가 기록됐습니다. 256k context와 Vision을 지원하지만 이미지 입력에는 별도의 mmproj 파일이 필요하고, MTP 성능은 token acceptance와 샘플링 설정에 따라 달라집니다.
핵심 포인트
- Qwen3.8-27B를 기반으로 COLD FUSION 방식의 다단계 Fine-tuning을 거친 GGUF 파생 모델입니다. GAIN이 샘플별 학습을 실시간으로 조정하고 Unsloth 학습 시스템과 결합합니다. Polar-STRICT-Datasets와 Reasoning-STRICT-Datasets를 사용해 지시 이행과 추론 동작을 조정했습니다.
- 과도한 사고와 긴 추론 블록을 줄이는 데 초점을 맞췄습니다. README는 일반 Qwen3.8 대비 사고 토큰이 1/5에서 1/2 수준이며 일부 모드에서는 1/10까지 줄었다고 밝힙니다. xhigh·medium·low 세 reasoning 모드에서 사고 길이를 조절하면서 출력 세부 수준을 유지하도록 설계했습니다.
- Regular GGUF와 MTP GGUF를 모두 제공하며 NEO IMATRIX와 16비트 output tensor를 적용했습니다. MTP GGUF는 MTP tensor를 Q8_0으로 저장하고 적은 수의 토큰을 한 번에 예측해 생성 속도를 높입니다. Q4_K_S 기준 Regular은 약 75 t/s, MTP는 조건에 따라 90 t/s를 넘었다고 README에 기재되어 있습니다.
- Qwen3.8의 Vision 기능을 유지해 이미지 입력을 처리할 수 있습니다. GGUF와 별도로 mmproj 파일 하나를 같은 폴더에 둬야 이미지 처리가 활성화됩니다. 256k context와 일반적인 AI 앱 호환성을 바탕으로 코딩, 문서, 역할극, 이미지 기반 작업을 한 모델에서 처리하는 구성이 핵심입니다.
제한사항
- MTP GGUF의 실제 속도는 GPU, 운영체제, 애플리케이션, temperature와 token acceptance에 좌우됩니다. 2토큰 예측 acceptance가 50% 아래면 Regular GGUF가 더 빠를 수 있습니다. 창작·복잡한 작업이나 temperature가 1을 넘는 조건에서는 README도 Regular GGUF 사용을 권장합니다.
- 추론 동작을 크게 수정한 모델이므로 애플리케이션별 reasoning template 호환성을 확인해야 합니다. 기본 reasoning effort는 xhigh이며 Jinja template에서 medium 또는 low로 바꿀 수 있습니다. 변경된 reasoning 동작이 사용 사례에 맞는지 별도 테스트가 필요합니다.
- Vision 입력에는 GGUF 파일만으로 충분하지 않고 별도의 mmproj 파일이 필요합니다. README의 비교 수치는 작성자와 Nightmedia가 수행한 테스트 및 공식 Qwen 표를 함께 포함합니다. BF16와 GGUF, Instruct와 thinking 모드가 섞인 수치는 동일 조건의 직접 비교로 해석하기 어렵습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| Terminal Bench 2.1 (Terminus) | score | 73.0 | README의 Qwen3.8-27B 비교 표 기준 Qwen3.6-27B 63.4, Qwen3.7-Plus 64.0, Opus4.6 Max 78.2 |
| SWE-bench Pro | score | 61.7 | README의 비교 표 기준 Qwen3.6-27B 53.5, Qwen3.7-Plus 57.6, Opus4.6 Max 53.4 |
| NL2Repo-Bench | score | 42.3 | README의 비교 표 기준 Qwen3.6-27B 36.2, Qwen3.7-Plus 41.1, Opus4.6 Max 47.6 |
| DeepSWE 1.1 | score | 42.2 | README의 비교 표 기준 Qwen3.6-27B 13.3, Qwen3.7-Plus 14.2 |
| QwenSWEBench | avg@3 | 79.0 | README의 비교 표 기준 Qwen3.6-27B 49.3, Qwen3.7-Plus 59.2, Opus4.6 Max 63.8 |
| CoWorkBench | score | 70.7 | README의 비교 표 기준 Qwen3.6-27B 61.0, Qwen3.7-Plus 65.1, Opus4.6 Max 68.2 |
| IFBench | score | 79.5 | README의 비교 표 기준 Qwen3.6-27B 69.1, Qwen3.7-Plus 79.1, Muse Glimmer-30B 77.0, Opus4.6 Max 62.5 |
| GPQA Diamond | score | 89.2 | README의 비교 표 기준 Qwen3.6-27B 87.8, Qwen3.7-Plus 90.3, Opus4.6 Max 91.3 |
| LiveCodeBench v6 | score | 90.3 | README의 비교 표 기준 Qwen3.6-27B 83.9, Qwen3.7-Plus 89.6, Opus4.6 Max 88.8 |
| OSWorld-Verified | score | 84.3 | README의 Vision 비교 표 기준 Qwen3.6-27B 63.9, Qwen3.7-Plus 73.3, Opus4.6 Max 72.7 |
| WebArena-Verified | score | 64.8 | README의 Vision 비교 표 기준 Qwen3.6-27B 48.8, Qwen3.7-Plus 55.3 |
| AndroidWorld | score | 81.9 | README의 Vision 비교 표 기준 Qwen3.6-27B 70.3, Qwen3.7-Plus 81.0, Opus4.6 Max 62.0 |
| SWE-MM | score | 38.6 | README의 Vision 비교 표 기준 Qwen3.6-27B 25.7, Qwen3.7-Plus 30.0, Opus4.6 Max 27.1 |
| Vision2Web | score | 62.9 | README의 Vision 비교 표 기준 Qwen3.6-27B 45.0, Qwen3.7-Plus 42.1 |
| MathVision | score with CI | 94.6 | README의 Vision 비교 표 기준 Qwen3.6-27B는 without CI 85.1, Qwen3.7-Plus는 without CI 90.3 |
| Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 | mxfp8 accuracy on arc/c | 0.655 | README의 Nightmedia 테스트 기준 동일 모델 mxfp4 0.645, Qwen3.8-27B-Instruct mxfp8 0.591 |
| Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 | mxfp8 accuracy on boolq | 0.898 | README의 Nightmedia 테스트 기준 동일 모델 mxfp4 0.887, Qwen3.8-27B-Instruct mxfp8 0.896 |
| Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 | mxfp8 accuracy on piqa | 0.807 | README의 Nightmedia 테스트 기준 동일 모델 mxfp4 0.799, Qwen3.8-27B-Instruct mxfp8 0.801 |
| Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 | mxfp8 accuracy on wino | 0.738 | README의 Nightmedia 테스트 기준 동일 모델 mxfp4 0.732, Qwen3.8-27B-Instruct mxfp8 0.711 |
109
Likes
88.3k
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
