MaralGPT/MaralGPT-Mythos-9B-2606-GGUF
Qwen 3.5를 기반으로 Heretic으로 검열 필터를 제거한 9B 파인튜닝 모델로서 100만 토큰 이상 컨텍스트와 GGUF 양자화 옵션을 제공한다.
학습 방식 · 기본적으로 Qwen 3.5 기반 모델을 대상으로 full-fine-tune(SFT) 방식으로 추가 학습을 수행했으며 학습 데이터로는 합성 데이터 약 5억 토큰을 사용했다고 명시되어 있다. 합성 데이터는 README에 따르면 GPT 5.5, Claude 4.8 Opus, Claude 5 Fable 등 상용 수준 모델이 생성한 샘플을 포함한다. 학습 후 Heretic LLM 라이브러리를 적용해 응답 필터를 제거한 형태로 배포되었다.
TL;DR
이 모델은 Qwen 3.5를 기반으로 한 9B 규모의 파인튜닝 배포본으로서 장문 컨텍스트(100만 토큰 이상)와 함수 호출·도구 사용을 염두에 둔 텍스트 생성 기능을 로컬 환경에서 제공한다. 학습에는 합성 데이터 약 5억 토큰이 사용되었고 Heretic LLM을 적용해 검열 필터를 제거한 uncensored 응답 특성을 가지며 Apache-2.0 라이선스로 배포된다. 배포 패키지에는 bf16과 여러 GGUF 양자화 버전이 포함되어 있어 게이밍 노트북 같은 저자원 환경에서도 Q8_0 또는 Q4_K_M 옵션으로 실행할 수 있도록 설계되었으나 Q2_K는 정상 작동하지 않는 것으로 표기되어 있다. 벤치마크 이미지는 성능 경향을 제시하나 본문에 수치 표가 없어 정량적 비교를 위해서는 원본 데이터 확보가 필요하다.
핵심 포인트
- 모델은 100만 토큰을 초과하는 매우 큰 컨텍스트 창을 전면에 내세우며 장문 처리 역량을 차별점으로 제시한다. 대부분의 공개 모델이 수만 토큰 단위의 컨텍스트를 제공하는 것과 비교해 용량 측면에서 구분된다. 다만 대규모 컨텍스트를 실제로 활용하려면 토큰화·메모리·스트리밍 최적화가 병행되어야 한다.
- Heretic LLM 기반으로 필터를 제거한 uncensored 설정을 주요 특성으로 삼아 민감 분야 질의 응답을 제한 없이 수행하도록 설계되었다. 이로 인해 사이버보안·바이오·화학 분야에서 상세한 기술적 질의에 접근할 수 있으나 안전성과 규정 준수 측면에서 심층 검토가 필요하다. 운영자는 응답 제어와 접근 정책을 별도로 마련해야 한다.
- 다양한 GGUF 양자화 버전을 공식으로 제공하여 로컬 게이밍 하드웨어에서도 실행 가능하다는 점을 실용적 차별점으로 제시한다. Q8_0을 게이밍 시스템용으로 권장하고 Q4_K_M을 품질 대 자원 타협안으로 배치한 점이 특징이다. 최저 비트 옵션(Q2_K)은 정상 작동하지 않는다고 명시하여 실무 적용 가능 범위를 명확히 하고 있다.
- 대규모 컨텍스트 처리 능력을 제품 차원에서 지원하여 한 번의 세션에서 매우 긴 문서와 대화 이력을 유지한 채로 생성할 수 있다. 100만 토큰을 초과하는 컨텍스트 창은 장문 요약과 장기 추적 대화 같은 사용 사례에서 실질적 이점을 제공한다. 로컬 환경에서 긴 컨텍스트를 처리하려면 토크나이저·메모리 관리 전략을 병행해야 한다.
이미지 분석


52
LIKES
6.6k
DOWNLOADS
1 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.