TL;DR

이 릴리스는 deepseek-ai/DeepSeek-V4-Flash-0731을 기반으로 antirez의 GGUF 변환물을 사용해 양자화하고 huihui.ai가 abliteration으로 거부응답을 제거한 uncensored GGUF 배포입니다. Q2와 Q4 양자화 버전이 제공되며 Q4에서 더 강한 ablation이 적용되어 거부 반응 빈도가 더 낮게 보고되어 있습니다. 실행환경으로 llama.cpp와 ds4가 권장되며 DSpark용 pre/post ablation 파일도 함께 제공되어 비교 실험이 가능합니다. 안전 필터링이 의도적으로 약화되어 연구·실험 목적 외의 공개 서비스에는 적합하지 않으며 실시간 모니터링과 법적 검토가 필요합니다.

핵심 포인트

• 원본은 deepseek-ai/DeepSeek-V4-Flash-0731이며 이 릴리스는 해당 모델을 기반으로 양자화와 abliteration(거부응답 제거) 후처리를 적용한 GGUF 배포입니다. 파일 출처로 antirez의 deepseek-v4-gguf가 사용되었고 huihui.ai가 abliteration을 수행했다고 명시되어 있습니다. 따라서 기능적으로는 base model의 언어 능력을 그대로 유지하면서 거부 패턴을 제거하려는 후처리 중심의 변형임을 알 수 있습니다.
• 양자화와 abliteration의 구체적 처리는 Q2/Q4 등 여러 비트 옵션을 포함하며 Q4가 Q2보다 더 강한 ablation 강도를 사용해 거부(rejection) 빈도가 더 작게 보고되고 있습니다. 배포 포맷은 GGUF로 llama.cpp와 ds4에서 직접 로드 가능하며 DSpark용 pre/post ablation 파일도 제공되어 실험과 비교가 용이합니다. 이런 구성은 Apple Silicon용 Metal 빌드나 multi-GPU ds4 실행까지 고려된 배포 경로를 제공하기 때문에 다양한 환경에서 빠르게 테스트할 수 있습니다.
• abliteration 처리 방식은 'remove-refusals-with-transformers' 프로젝트를 참조한다고 적시되어 있으며 TransformerLens 없이 거부 응답 제거를 시도한 'proof-of-concept' 구현이라는 점이 README에 명확히 적혀 있습니다. 이 때문에 모델의 안전 필터링이 의도적으로 약화되어 있으며 그 결과 민감하거나 논쟁적일 수 있는 출력이 발생할 확률이 높습니다. 연구·실험 목적이나 통제된 환경에서의 사용이 권장된다는 점이 운영상 핵심 제약으로 작용합니다.
• 배포 태그와 README는 uncensored, abliterated, mixture-of-experts, 2-bit/4-bit 같은 기술적 메타데이터를 함께 제시하고 있어 내부적으로 Mixture-of-Experts 구조와 다양한 양자화 스킴을 지원했을 가능성이 큽니다. GGUF는 경량 런타임(예: llama.cpp, ds4)에서 효율적으로 동작하도록 변환된 포맷이므로 로컬 환경에서의 신속한 프로토타이핑에 적합합니다. 다만 안전성 저하와 법적·윤리적 책임이 명시되어 있어 실제 서비스 배치 전에는 추가 검증과 필터링 계층을 설계해야 합니다.

제한사항