LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF
Qwen3.6-35B-A3B 기반 무검열 MoE 모델의 텐서를 SVD로 후처리해 노이즈를 줄인 Genesis Hermes V6 GGUF 양자화판.
학습 방식 · HauhauCS의 무검열 Qwen3.6-35B-A3B 베이스에 DJLougen의 Hermes 파인튠에서 추출한 약 2천 개 FFN 전문가 텐서 블록을 전이했고, 이후 재학습 없이 SVD 기반 통계적 노이즈 저감('Genesis')만 적용했다.
TL;DR
이 리포지토리는 HauhauCS의 무검열 Qwen3.6-35B-A3B(35B 총 파라미터, 활성 3B MoE) 위에 Hermes 함수 호출 데이터셋으로 학습된 파인튠 일부를 전이하고, 제작자가 'Genesis'라 부르는 커스텀 SVD 기반 텐서 후처리로 가중치의 학습 노이즈를 줄인 GGUF 양자화 배포판이다. 재학습이 아니라 원본 파일의 바이트 단위 수치 보정만 수행하며, ssm_conv1d 텐서의 헤드 균형을 맞추고 zero block을 통계적으로 재구성하는 3단계 절차로 이뤄진다. 262K 네이티브 컨텍스트(YaRN으로 1M까지 확장 가능)와 이미지·비디오 이해를 포함한 네이티브 멀티모달을 지원하며, llama.cpp·LM Studio·koboldcpp 등 GGUF 호환 런타임에서 바로 구동할 수 있다. README는 V5·V6 리포에 동일하게 게시돼 있어 이 버전만의 차별화된 변경점은 문서에 별도로 명시돼 있지 않다.
핵심 포인트
- 재학습 없이 SVD 기반 통계적 텐서 보정만으로 원본 모델의 노이즈를 줄였다고 주장하는 'Genesis' 후처리를 적용했다.
- 35B 총 파라미터 중 약 3B만 활성화하는 MoE(256개 전문가, 8+1 라우팅)와 DeltaNet+softmax 하이브리드 어텐션을 사용한다.
- 262K 네이티브 컨텍스트를 YaRN으로 1M까지 확장할 수 있고 텍스트·이미지·비디오를 함께 처리하는 네이티브 멀티모달이다.
제한사항
- 제작자가 직접 명시한 정량적 안전성 검증은 없고, '0/465 refusals'라는 자체 측정치 외에 표준 안전성 벤치마크 결과는 공개되지 않았다.
- 재학습이 아닌 사후 텐서 보정 방식이라 효과가 제작자의 자체 주장에 의존하며 독립적인 검증 결과는 README에 없다.
363
LIKES
308.9k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
