Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF
Qwen3.8-27B 기반 abliterated 멀티모달 GGUF로, llama.cpp와 내장 MTP를 지원합니다.
학습 방식 · Qwen/Qwen3.8-27B를 기반으로 refusal surface를 weight-level에서 수정한 abliterated 변형이며, Fine-tuning·LoRA·merge·pruning 없이 BF16 부모 모델을 GGUF로 양자화했습니다.
TL;DR
Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF는 Qwen/Qwen3.8-27B를 기반으로 refusal surface를 weight-level에서 수정한 abliterated 멀티모달 모델의 양자화 배포판입니다. Q2_K부터 Q8_0까지의 GGUF ladder와 vision projector를 제공해 llama.cpp에서 텍스트·이미지·영상 입력을 처리하며, 모든 메인 파일에 native MTP head를 내장해 별도 draft 모델 없이 speculative decoding을 수행합니다. Q4_K_M은 16.8GB이며, 262,144-token 아키텍처 컨텍스트를 지원하지만 실제 사용 범위는 메모리와 동시성에 좌우됩니다. R1-HARMFUL-BENCH-450에서는 동일 계열 W4A4 NVFP4 derivative 기준 450건 중 11건의 true refusal이 남았으므로, 정책·권한·격리 장치가 필요한 운영 환경에서는 별도 안전 계층이 필요합니다.
핵심 포인트
- Qwen/Qwen3.8-27B를 기반으로 거부 반응을 weight-level에서 줄인 abliterated 변형입니다.
- Q2_K부터 Q8_0까지 9개 GGUF 양자화 단계와 두 종류의 vision projector를 제공합니다.
- 모든 메인 GGUF에 native MTP head를 내장해 별도 draft 모델 없이 llama.cpp 추론을 지원합니다.
- Q4_K_M은 16.8GB로 품질과 메모리 사용량의 균형을 겨냥한 기본 선택지입니다.
제한사항
- 새로 지원되는 아키텍처와 수정된 research checkpoint이므로 실제 배포 전 선택한 quant, context, vision, tools, structured output을 별도로 검증해야 합니다.
- 거부 반응을 줄인 모델이라 애플리케이션 정책, 인증, 권한 관리, sandbox, 감사 로그를 제공하지 않으며 운영자가 별도로 구축해야 합니다.
- 공개된 품질 수치는 부모 artifact와 특정 테스트 조건에 기반하며, 모든 GGUF quant·멀티모달·tool-use·long-context·multi-turn 환경으로 일반화되지 않습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| R1-HARMFUL-BENCH-450 | true refusal rate | 11/450 (2.4%) | 최종 수치는 동일 BF16 부모의 W4A4 NVFP4 derivative에서 순차적으로 측정한 결과이며, 이 GGUF 전체 quant에 대한 fresh full-450 실행값은 아닙니다. |
| R1-HARMFUL-BENCH-450 | softened compliance 제외 후 잔여 거부 | AdvBench 1건, StrongREJECT 5건, XSTest 5건 | 450개 원본 사례를 구성하는 세 데이터셋별 최종 잔여 사례입니다. |
| MTP speculative decoding | drafted token acceptance | 14/21 (66.7%) | 내장 MTP를 적용한 rebuilt Q4_K_M의 llama.cpp release smoke test 측정값이며, 프롬프트·sampling·하드웨어·context·동시성에 따라 달라집니다. |
| WikiText-2 | word perplexity | 8.4764 | Clean upstream BF16 부모 artifact 측정값입니다. |
| WikiText-2 | word perplexity | 9.3677 | Blackfrost W4A4 NVFP4 derivative 측정값이며, 개별 GGUF quant의 perplexity가 아닙니다. |
| WikiText-2 | bits/byte | 0.5766 | Clean upstream BF16 부모 artifact 측정값입니다. |
| WikiText-2 | bits/byte | 0.6036 | Blackfrost W4A4 NVFP4 derivative 측정값이며, 개별 GGUF quant의 perplexity가 아닙니다. |
119
Likes
58.7k
Downloads
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
