DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1
이미지와 텍스트를 함께 처리하는 대화형 생성27Bapache-2.0
Qwen3.8-27B의 사고 토큰을 줄이면서 4비트와 8비트 성능 유지를 겨냥한 COLD-FUSION Fine-tuning 모델입니다.
학습 방식 · Qwen/Qwen3.8-27B 기반의 경량 Fine-tuning으로, GAIN을 핵심 구성요소로 Unsloth 시스템과 결합한 COLD-FUSION을 적용했으며 일반 지능 향상과 사고 토큰 축소에 초점을 맞췄습니다.
TL;DR
이 모델은 Qwen/Qwen3.8-27B를 기반으로 GAIN과 Unsloth를 결합한 COLD-FUSION Fine-tuning 모델이며, 양자화 모델이 아니라 8비트와 4비트에서도 BF16 성능의 99% 유지를 목표로 학습됐습니다. 핵심 변화는 사고 과정의 토큰 수를 일반 Qwen의 16k 이상에서 테스트 기준 평균 5k~7k로 줄이면서 세부 수준과 출력 품질을 유지하는 데 있습니다. COOK 1의 mxfp8 점수는 Qwen3.8-27B-Instruct보다 arc/c 0.657, arc/e 0.830, boolq 0.900, obkqa 0.498, piqa 0.807, wino 0.738로 높았고, hswag는 0.751로 기록됐습니다. 다만 COOK 1B와 COOK 2B의 최종 벤치마크는 pending이며, xhigh 설정의 Jinja reasoning prompt injection 문제도 별도 조정 대상입니다.
핵심 포인트
- Qwen3.8-27B에 GAIN과 Unsloth 기반 COLD-FUSION을 적용해 사고 토큰을 줄였습니다.
- Q4KS 테스트에서 사고와 출력을 합친 평균 길이가 5k~7k로, 일반 Qwen의 16k 이상보다 짧습니다.
- COOK 1의 mxfp8 점수는 Qwen3.8-27B 기준보다 7개 벤치마크 중 확인 가능한 항목에서 높았습니다.
- 4비트와 8비트에서도 BF16 성능의 99%를 유지한다는 학습 방식의 설명이 제공됐습니다.
제한사항
- README의 COOK 1B와 COOK 2B 벤치마크는 아직 pending으로 표시돼 최종 후보 간 정량 비교가 완료되지 않았습니다.
- 사고 토큰을 줄이는 과정에서 출력 세부 수준의 균형을 추가로 조정해야 할 가능성이 README에 명시돼 있습니다.
- xhigh 설정에서 Jinja reasoning prompt injection과 system prompt 문제가 발생해 별도 조정과 테스트가 진행됐습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| arc/c | 점수(mxfp8) | 0.657 | Qwen3.8-27B-Instruct mxfp8 0.591 |
| arc/e | 점수(mxfp8) | 0.830 | Qwen3.8-27B-Instruct mxfp8 0.782 |
| boolq | 점수(mxfp8) | 0.900 | Qwen3.8-27B-Instruct mxfp8 0.896 |
| hswag | 점수(mxfp8) | 0.751 | Qwen3.8-27B-Instruct mxfp8 값은 README 표에 없음 |
| obkqa | 점수(mxfp8) | 0.498 | Qwen3.8-27B-Instruct mxfp8 0.442 |
| piqa | 점수(mxfp8) | 0.807 | Qwen3.8-27B-Instruct mxfp8 0.798 |
| wino | 점수(mxfp8) | 0.738 | Qwen3.8-27B-Instruct mxfp8 0.713 |
| arc/c | 점수(mxfp4) | 0.644 | Qwen3.8-27B-Instruct mxfp4 0.581 |
| arc/e | 점수(mxfp4) | 0.829 | Qwen3.8-27B-Instruct mxfp4 0.771 |
| boolq | 점수(mxfp4) | 0.899 | Qwen3.8-27B-Instruct mxfp4 0.889 |
| hswag | 점수(mxfp4) | 0.740 | Qwen3.8-27B-Instruct mxfp4 값은 README 표에 없음 |
| obkqa | 점수(mxfp4) | 0.496 | Qwen3.8-27B-Instruct mxfp4 0.442 |
| piqa | 점수(mxfp4) | 0.799 | Qwen3.8-27B-Instruct mxfp4 0.798 |
| wino | 점수(mxfp4) | 0.732 | Qwen3.8-27B-Instruct mxfp4 0.713 |
95
Likes
27
Downloads
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
