DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU
이미지와 텍스트를 입력받아 텍스트를 생성하는 image-text-to-text 모델입니다.27Bapache-2.0
Qwen3.8-27B 기반 Heretic·healing Fine-tune
학습 방식 · Qwen3.8-27B 기반 Cold Fusion·GAIN Training·Multi-stage tuning에 Unsloth 학습 흐름과 Heretic 단계의 정렬 완화, 후속 precision-engineered healing dataset 학습을 결합했습니다.
TL;DR
이 모델은 Qwen3.8-27B를 기반으로 Cold Fusion과 GAIN Training을 거친 다단계 Fine-tune이며, Heretic 단계의 안전 정렬 완화와 후속 healing 학습을 결합한 버전입니다. Stage1b는 프롬프트와 사용 사례에 따라 thinking token 규모를 자동 조절하고, 일반 Qwen 계열보다 적은 토큰으로 세부 수준을 유지하도록 조정됐습니다. README의 mxfp8 벤치마크에서 ARC-C 0.735, BoolQ 0.917, PIQA 0.837을 기록했으며, 4-bit 결과가 8-bit 성능의 약 99%에 근접한다고 기재되어 있습니다. 창작 글쓰기와 대화형 생성에 활용할 수 있지만, 최종 릴리스와 GGUF·소스 공개가 진행 중인 상태입니다.
핵심 포인트
- Heretic 이후 healing 학습으로 안전 정렬을 완화하면서 핵심 벤치마크 성능 저하를 보정했습니다.
- 프롬프트와 사용 사례에 맞춰 thinking token 규모를 자동 조절해 추론 길이와 세부 수준을 함께 다룹니다.
- Stage1b mxfp8에서 ARC-C 0.735와 BoolQ 0.917을 기록해 기반 Qwen3.8-27B보다 높은 수치를 냈습니다.
- Q4KS 예시에서 장문 창작과 캐릭터 대화 생성에 필요한 서술력과 개성 조정을 확인할 수 있습니다.
제한사항
- 최종 릴리스 전 단계라 버전 수와 학습·혼합 레시피가 아직 확정되지 않았습니다.
- Stage2b-rplus 계열은 추론 조정을 목표로 하며 Stage1 계열보다 현재 일부 지표와 창의성이 낮게 기록됐습니다.
- 일부 Stage2 벤치마크 값과 최종 GGUF·소스 공개가 아직 완료되지 않았습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| ARC-C | mxfp8 score | 0.735 | Qwen3.8-27B-Instruct mxfp8 0.591 |
| ARC-E | mxfp8 score | 0.882 | Qwen3.8-27B-Instruct mxfp8 0.782 |
| BoolQ | mxfp8 score | 0.917 | Qwen3.8-27B-Instruct mxfp8 0.896 |
| HSwag | mxfp8 score | 0.832 | Qwen3.8-27B-Instruct mxfp8 0.746 |
| OBQA | mxfp8 score | 0.530 | Qwen3.8-27B-Instruct mxfp8 0.448 |
| PIQA | mxfp8 score | 0.837 | Qwen3.8-27B-Instruct mxfp8 0.801 |
| Wino | mxfp8 score | 0.785 | Qwen3.8-27B-Instruct mxfp8 0.711 |
121
LIKES
17
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
