DavidAU/Qwen3.8-27B-Cold-Fable-Fusion-GAIN-V1.1-732-Heretic-Uncensored-stage1
이미지-텍스트 생성 및 대화형 모델27Bapache-2.0
Qwen 3.8 27B 기반으로 Cold Fusion과 GAIN 훈련을 적용하고, 검열 제거 후 성능 복구 과정을 거쳐 추론 효율과 벤치마크 성능을 동시에 끌어올린 모델.
학습 방식 · Qwen 3.8 27B 기반으로 Cold Fusion 및 GAIN 훈련 기법을 적용하고, 검열 제거(Heretic) 후 전용 데이터셋으로 성능을 복구(Healing)하는 다단계 파인튜닝을 수행함.
TL;DR
Qwen 3.8 27B 모델을 기반으로 Cold Fusion 및 GAIN 훈련 기법을 적용하여 성능을 극대화한 다단계 파인튜닝 모델이다. 검열을 제거하는 'Heretic' 과정에서 발생하는 성능 손실을 전용 데이터셋으로 복구하는 'Healing' 단계를 거쳐, 기존 베이스 모델 대비 ARC-C 등 핵심 벤치마크 점수를 크게 높였다. 특히 추론 시 불필요한 사고 토큰을 대폭 줄여 효율성을 개선했으며, 현재 지속적인 단계별 튜닝을 통해 성능을 고도화하고 있다.
핵심 포인트
- Qwen 3.8 27B 기반으로 Cold Fusion 및 GAIN 훈련 기법을 적용해 주요 벤치마크 성능을 대폭 향상함.
- 'Heretic' 기법으로 검열을 제거하면서도 'Healing' 데이터셋을 활용해 성능 저하를 최소화함.
- 추론 시 불필요한 사고 토큰을 50~90% 줄여 응답 효율성을 높이고 상세한 분석력을 유지함.
제한사항
- 현재 개발 중인 모델로 최종 버전이 아니며 지속적인 업데이트가 예정되어 있음.
- 검열이 제거된(Uncensored) 모델이므로 사용 시 주의가 필요함.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| ARC-C | accuracy | 0.735 | 기반 모델 Qwen3.8-27B-Instruct 대비 0.591 |
| ARC-E | accuracy | 0.882 | 기반 모델 Qwen3.8-27B-Instruct 대비 0.782 |
| BoolQ | accuracy | 0.917 | 기반 모델 Qwen3.8-27B-Instruct 대비 0.896 |
86
LIKES
3
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
