PocketAiHub/Qwen3.8-27B-Abliterated-MLX
Qwen3.8-27B에 abliteration과 MLX 양자화를 적용한 Multimodal 파생 모델군
학습 방식 · Qwen3.8-27B를 MLX로 변환한 뒤 256개 유해·무해 Prompt에서 추정한 거부 방향을 Layer 24–63의 Residual-output Matrix 80개에 적용했습니다.
TL;DR
이 모델은 Qwen3.8-27B를 기반으로 MLX 변환과 abliteration을 적용한 비공식 Multimodal 파생 계열이며, 2-bit AWQ·4/6/8-bit·BF16 변형을 제공합니다. Abliteration은 유해·무해 Prompt 256개씩에서 Assistant 생성 경계의 harmful-minus-harmless 방향을 추정하고, Layer 24–63의 Residual-output Matrix 80개에 Scale 1.0으로 적용해 학습된 거부 행동을 억제합니다. 4·6·8-bit와 BF16은 12/12 품질 검사와 8/8 Native Tool Call 검사를 통과했으며, Apple M5 Max 기준 4-bit는 33.2 tok/s 생성 속도와 21.80 GB Peak MLX memory를 기록했습니다. 다만 이 평가는 거부 문구를 찾는 초기 행동 검사이고, 2-bit AWQ는 Tool Call과 일부 Vision·문맥 검색 검증에서 실패했으므로 안전성이 필요한 배포보다 출력 통제가 가능한 로컬 실험 환경에 적합합니다.
핵심 포인트
- Qwen3.8-27B 기반 MLX 파생 계열로 텍스트와 이미지 입력을 함께 처리합니다.
- abliteration으로 Assistant 생성 경계의 거부 방향을 억제한 동작 변형 모델입니다.
- 2-bit AWQ부터 BF16까지 제공해 메모리 사용량과 생성 속도를 선택할 수 있습니다.
- 4·6·8-bit와 BF16은 품질·Tool Call 검사를 통과했지만 2-bit는 일부 기능이 약합니다.
제한사항
- Abliteration은 학습된 거부 행동을 억제할 뿐 Truthfulness나 안전성을 높이는 과정이 아닙니다. 유해하거나 불법적이거나 부정확한 출력을 더 쉽게 생성할 수 있어 별도의 출력 제약과 검증이 필요합니다. README의 표현 감지 평가는 보편적 준수나 답변 품질을 입증하지 않습니다.
- 2-bit AWQ 변형은 실험 단계입니다. 품질 검사는 9/12, Native Tool Call 검사는 0/8에 그쳤고 정확한 Text Smoke Test와 Temporal Video Test도 통과하지 못했습니다. 4K 문맥 검색에서는 Needle을 찾았지만 정확히 반환하지 못했습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| 유해 Prompt 행동 평가 MLX 4-bit | 명시적 거부 | 0/100 | — |
| 무해 Prompt 행동 평가 MLX 4-bit | 명시적 거부 | 0/100 | — |
| 최종 답변 생성 MLX 4-bit | 답변 존재 | 200/200 | — |
| 기능 검증 MLX 4-bit | 품질 검사 | 12/12 | — |
| 기능 검증 MLX 4-bit | Native Tool Call 검사 | 8/8 | — |
| 4K 문맥 로컬 성능 MLX 4-bit | Prompt prefill | 641.7 tok/s | Apple M5 Max 128 GB, mlx 0.32.0, mlx-vlm 0.6.8에서 단일 실행한 값이며 다른 장치의 성능을 보장하지 않습니다. |
| 4K 문맥 로컬 성능 MLX 4-bit | Generation | 33.2 tok/s | Apple M5 Max 128 GB, mlx 0.32.0, mlx-vlm 0.6.8에서 단일 실행한 값이며 다른 장치의 성능을 보장하지 않습니다. |
| 4K 문맥 로컬 성능 MLX 4-bit | Peak MLX memory | 21.80 GB | Apple M5 Max 128 GB, mlx 0.32.0, mlx-vlm 0.6.8에서 단일 실행한 값이며 다른 장치의 성능을 보장하지 않습니다. |
92
Likes
0
Downloads
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
