본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

MaralGPT/MaralGPT-Mythos-9B-2606-GGUF

이 모델은 주된 용도로 텍스트 생성 및 대화형 응답 생성 태스크를 수행한다. 함수 호출과 도구 사용을 지원하는 워크플로에서 시스템 메시지와 사용자 메시지를 결합해 연속된 응답을 생성하는 데 초점이 맞춰져 있다. 장문 문맥을 한 번에 처리함으로써 긴 문서 요약, 코드 생성과 같은 장기 의존성 요구 작업에서도 동작 가능성이 높다.9Bover 1,000,000 tokens 컨텍스트apache-2.0

Qwen 3.5를 기반으로 Heretic으로 검열 필터를 제거한 9B 파인튜닝 모델로서 100만 토큰 이상 컨텍스트와 GGUF 양자화 옵션을 제공한다.

학습 방식 · 기본적으로 Qwen 3.5 기반 모델을 대상으로 full-fine-tune(SFT) 방식으로 추가 학습을 수행했으며 학습 데이터로는 합성 데이터 약 5억 토큰을 사용했다고 명시되어 있다. 합성 데이터는 README에 따르면 GPT 5.5, Claude 4.8 Opus, Claude 5 Fable 등 상용 수준 모델이 생성한 샘플을 포함한다. 학습 후 Heretic LLM 라이브러리를 적용해 응답 필터를 제거한 형태로 배포되었다.

TL;DR

이 모델은 Qwen 3.5를 기반으로 한 9B 규모의 파인튜닝 배포본으로서 장문 컨텍스트(100만 토큰 이상)와 함수 호출·도구 사용을 염두에 둔 텍스트 생성 기능을 로컬 환경에서 제공한다. 학습에는 합성 데이터 약 5억 토큰이 사용되었고 Heretic LLM을 적용해 검열 필터를 제거한 uncensored 응답 특성을 가지며 Apache-2.0 라이선스로 배포된다. 배포 패키지에는 bf16과 여러 GGUF 양자화 버전이 포함되어 있어 게이밍 노트북 같은 저자원 환경에서도 Q8_0 또는 Q4_K_M 옵션으로 실행할 수 있도록 설계되었으나 Q2_K는 정상 작동하지 않는 것으로 표기되어 있다. 벤치마크 이미지는 성능 경향을 제시하나 본문에 수치 표가 없어 정량적 비교를 위해서는 원본 데이터 확보가 필요하다.

핵심 포인트

  • 모델은 100만 토큰을 초과하는 매우 큰 컨텍스트 창을 전면에 내세우며 장문 처리 역량을 차별점으로 제시한다. 대부분의 공개 모델이 수만 토큰 단위의 컨텍스트를 제공하는 것과 비교해 용량 측면에서 구분된다. 다만 대규모 컨텍스트를 실제로 활용하려면 토큰화·메모리·스트리밍 최적화가 병행되어야 한다.
  • Heretic LLM 기반으로 필터를 제거한 uncensored 설정을 주요 특성으로 삼아 민감 분야 질의 응답을 제한 없이 수행하도록 설계되었다. 이로 인해 사이버보안·바이오·화학 분야에서 상세한 기술적 질의에 접근할 수 있으나 안전성과 규정 준수 측면에서 심층 검토가 필요하다. 운영자는 응답 제어와 접근 정책을 별도로 마련해야 한다.
  • 다양한 GGUF 양자화 버전을 공식으로 제공하여 로컬 게이밍 하드웨어에서도 실행 가능하다는 점을 실용적 차별점으로 제시한다. Q8_0을 게이밍 시스템용으로 권장하고 Q4_K_M을 품질 대 자원 타협안으로 배치한 점이 특징이다. 최저 비트 옵션(Q2_K)은 정상 작동하지 않는다고 명시하여 실무 적용 가능 범위를 명확히 하고 있다.
  • 대규모 컨텍스트 처리 능력을 제품 차원에서 지원하여 한 번의 세션에서 매우 긴 문서와 대화 이력을 유지한 채로 생성할 수 있다. 100만 토큰을 초과하는 컨텍스트 창은 장문 요약과 장기 추적 대화 같은 사용 사례에서 실질적 이점을 제공한다. 로컬 환경에서 긴 컨텍스트를 처리하려면 토크나이저·메모리 관리 전략을 병행해야 한다.

이미지 분석

첫 번째 벤치마크 이미지는 모델 성능을 시각화한 차트로 보이며 생성 파라미터 샘플과 함께 배치되어 있다.
이미지는 모델 성능 비교를 그래픽으로 제시하나 본문에는 각 데이터 포인트의 정량적 수치가 함께 표기되어 있지 않아 차트만으로 세부 성능을 재현하기 어렵다. 해당 이미지는 README 본문에 명시된 생성 파라미터 temperature=0.6, top_p=0.95, top_k=20을 전제로 한 결과임이 캡션에서 확인된다. 따라서 이 차트는 상대적 성능 경향을 파악하는 용도로 유용하나 정확한 수치 비교를 위해 원본 데이터가 필요하다.
두 번째 벤치마크 이미지는 보다 상세한 성능 비교를 목적으로 한 추가 차트로 보인다.
이미지의 시각적 요소는 여러 실험군을 비교하는 구조를 가지나 각 축 레이블과 수치의 원문 텍스트가 README에 병기되어 있지 않아 정확한 해석에 한계가 있다. 본문은 그래프의 해석이 생성 파라미터에 민감할 수 있음을 명시하고 있어 벤치마크 결과 재현을 위해서는 그래프의 원본 데이터나 표가 필요하다. 이 이미지는 성능 경향을 개괄적으로 확인하는 데는 유용하지만 정량적 근거로 사용하기에는 추가 자료가 요구된다.

52

LIKES

6.6k

DOWNLOADS

1 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.