huihui-ai/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF
empero-ai 기반의 Qwythos-9B 계열을 huihui-ai가 abliteration으로 uncensored 상태로 패키징한 GGUF 모델로서 긴 컨텍스트와 function-calling 태그를 지원한다.
학습 방식 · 이 모델은 empero-ai/Qwythos-9B-Claude-Mythos-5-1M을 기반으로 태그상 SFT와 full-fine-tune 방식이 사용되었음을 명시하고 있어 전체 가중치 수준의 파인튜닝이 적용된 것으로 보인다.
TL;DR
이 모델은 empero-ai의 Qwythos-9B-Claude-Mythos-5-1M을 기반으로 huihui-ai가 abliteration 처리로 안전 필터를 축소해 만든 uncensored GGUF 패키지이다. GGUF 포맷과 ggml-org/llama.cpp 빌드·실행 예시를 통해 로컬 GPU 환경에서 즉시 구동할 수 있는 배포 경로를 제공하며 실행 예시에는 컨텍스트 크기(-c 262144)와 MTP 드래프트 스펙 관련 인수가 포함되어 긴 문맥 입력 처리 워크플로를 지원함이 드러난다. README는 non-thinking mode에서 첫 프롬프트를 엄격히 따르는 동작과 필터 축소로 인한 민감하거나 부적절한 출력 위험을 여러 차례 경고하고 있어 연구·테스트 목적의 통제된 환경에서 사용해야 한다. 라이선스는 apache-2.0으로 명시되어 있으며 도네이션 수단이 함께 제공되어 커뮤니티 기반 개발 성격이 반영되어 있다.
핵심 포인트
- 원본 empero-ai/Qwythos-9B-Claude-Mythos-5-1M에서 abliteration으로 안전 필터를 축소한 uncensored 변형이라는 점이 가장 큰 차별 요소이다. 이로 인해 동일 계열의 모델 중에서도 출력 제약이 적은 실험적 용도로 구분되어 활용될 수 있다. 반면 이 차별화는 법적·윤리적 책임을 함께 수반한다.
- GGUF 포맷으로 공개되어 llama.cpp와의 직접적인 로컬 실행 경로를 제공한다는 점이 배포 전략상의 차별점이다. README의 빌드 및 실행 명령은 사용자가 자체 인프라에서 모델을 즉시 구동하도록 설계되어 있어 클라우드 API 의존도를 줄인다. 이 특성은 데이터 주권이나 비용 통제 측면에서 장점으로 작용한다.
- non-thinking mode에서 첫 프롬프트 지시를 엄격히 따르는 동작 모드를 명시하여 포맷화된 출력 재현성을 확보하려는 운용 의도가 드러난다. 이는 출력 일관성이 중요한 자동화된 텍스트 처리 파이프라인에 적합한 요소로 작동할 수 있다. 다만 이러한 설정은 응답의 다양성과 안전성 측면에서 트레이드오프를 초래한다.
- GGUF 포맷과 llama.cpp를 통한 로컬 실행 경로가 명확하게 제시되어 있어 자체 인프라에서 즉시 운영 환경을 구성할 수 있다. 제공된 빌드·실행 예시는 CUDA 지원 빌드와 구체적 실행 인수를 포함하므로 재현 가능성이 높다. 이로 인해 외부 API 의존도를 낮추고 데이터 주권이 요구되는 환경에서 활용하기 용이하다.
59
LIKES
46.5k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.