TL;DR

이 모델은 Qwen3.5 9B를 기반으로 여러 9B 파인튜닝 결과를 다단계로 병합하고 NEO IMATRIX 방식의 GGUF 양자화와 MTP(다중토큰 예측) 모드를 도입해 로컬 양자화 실행에서 높은 처리량과 보전된 정확도를 목표로 만든 멀티모달 이미지-텍스트-투-텍스트 모델이다. 포스트트레이닝 'Heretic' 조정을 통해 거부율을 크게 낮추어 지시 이행과 창작·롤플레이·코딩 생성에서 관대한 출력을 제공하며, 일부 벤치마크에서는 더 큰 계열 모델들을 능가하는 성과를 보고했다. 실행 성능은 Regular/GGUF와 MTP/GGUF 사이에서 토큰 수락률과 온도·rep_pen 설정에 민감하게 변화하므로 사용자는 두 가지 양자화 버전을 시험해 워크로드별 최적의 설정을 찾아야 한다.

핵심 역량

• 강화된 지시 이행 능력으로 복잡한 지시문을 수렴해 단계별 응답을 생성할 수 있다. 모델은 다단계 파인튜닝과 병합을 통해 instruction-following 품질을 끌어올렸으며, 실사용 시 고정된 포맷의 지시나 조건부 생성에서 일관된 출력을 유지한다. 샘플링·온도 설정에 따라 창작성과 정밀도 사이를 조정해 다양한 생성 스타일을 지원한다.
• 멀티모달 입력을 받아 이미지 내용을 해석하고 그에 기반한 텍스트 응답을 생성할 수 있다. 비전 기능은 별도 mmproj 파일을 동일 폴더에 두어 활성화해야 하며, 문서 인식·VQA(visual question answering)·수학 문제 해석 등에서 성능이 보고되었다. 시각 입력과 긴 텍스트 컨텍스트를 결합한 작업에서 문맥 보존 능력이 필요할 때 유용하다.
• 매우 긴 문맥(기본 256k 토큰, 확장 시 1,010,000 토큰)을 natively 지원하여 문서 단위의 연속 대화나 장문 분석이 가능하다. 긴 문맥 처리를 위해 설계된 토크나이저·컨텍스트 관리 방식과 함께 동작하며, 장문 내의 참조결합·추론 유지에 강점을 보인다. 대규모 문서 요약이나 연속적 플로우를 요구하는 에이전트 시나리오에 적합하다.
• 로컬 환경에서 GGUF 양자화(Regular/MTP)로 고속 추론을 수행할 수 있으며, MTP 모드에서는 다중토큰 예측을 통해 처리량을 높일 수 있다. 양자화된 실행 시 출력 텐서 일부를 16비트로 유지하는 하이브리드 정밀도 전략을 사용해 정확도 손실을 줄였다. 실행과정에서 토큰 수락률과 온도·rep_pen 설정이 성능에 큰 영향을 미치므로 튜닝이 필요하다.

강점

• README와 벤치마크 표에 따르면 다수의 평가 지표에서 상위권 성적을 기록하여 같은 계열의 더 큰 모델들과 비교해 일부 벤치에서 우위를 보였다고 보고되었다. 문서에는 '7개의 주요 벤치마크에서 상위 성능'이라는 주장이 포함되어 있어 수치적 근거를 바탕으로 작은 모델에서 높은 효율을 달성했음을 시사한다. 특히 instruction-following 관련 IFEval 점수가 높게 보고되어 지시 이행 품질이 강화된 점이 강점으로 제시되었다.
• NEO IMATRIX 기반의 GGUF 양자화와 MTP 모드를 통해 로컬 환경에서의 처리량 향상과 양자화 정확도 보존을 동시에 노렸다는 점이 구현적 강점이다. README는 MTP 모드에서 Q4_K_S 기준으로 Regular 약 130 T/S, MTP는 조건에 따라 185 T/S 이상을 기록했다고 제시하여 실사용 환경에서 속도 우위를 기대하게 만든다. 또한 출력 텐서 일부를 16비트로 유지하는 하이브리드 정밀도 설정으로 양자화에 따른 품질 저하를 줄였다.
• 긴 컨텍스트(256k 기본)와 멀티모달 비전 활성화 옵션은 문서 중심 워크로드와 시각-텍스트 융합 태스크에서 실용적 이점을 제공한다. 컨텍스트 확장성은 대형 문서 처리·연속 대화 유지에 유리하며 별도 mmproj 파일을 통한 비전 모듈 통합은 유연한 배포를 가능하게 한다. 다만 비전 사용을 위한 추가 파일 관리와 양자화 선택에 따른 튜닝 비용은 고려 사항이다.

훈련 방식

기반은 Qwen3.5 9B로서 여러 9B 파인튜닝 결과를 다단계로 결합·병합하는 방식으로 포스트트레이닝(heretic 스타일)과 성능 튜닝을 거쳤으며, 최종 배포는 NEO IMATRIX/GGUF 양자화로 이루어졌다.

알아두면 좋은 것

• 배포판은 Regular GGUF와 MTP(다중토큰 예측) 라벨이 붙은 NEO IMATRIX GGUF 두 가지를 제공하며, NEO IMATRIX는 표준 GGUF 대비 2~4% 추가 정확도 향상과 긴 문맥에서의 안정성 개선을 목적으로 설계되었다. MTP 모드는 Q8_0 등 특정 정밀도로 일부 텐서를 설정하고 토큰 예측 정책을 조정해 처리량을 높이며 테스트 환경에 따라 T/S가 크게 달라진다. 사용자에게는 두 가지 양자화 버전을 모두 다운로드해 워크로드별 성능을 비교해볼 것을 권장한다.
• 모델은 다단계·다모델 파인튜닝 및 병합을 거쳐 제작되었고 'Heretic' 후처리 단계를 통해 거부동작(refusal)을 대폭 줄인 상태로 배포된다. README는 이 모델이 다수의 벤치마크에서 상위권 성적을 냈다고 소개하며, 완전한 무검열(uncensored) 출력을 목표로 하지만 일부 explicit 출력을 얻기 위해서는 사용자 지침의 강화가 필요하다고 기술하고 있다. 안전·윤리적 고려는 사용자가 별도로 판단해야 한다.
• 긴 컨텍스트 기본값이 256k이고 확장성은 1,010,000 토큰까지 명시되어 있어 문서 단위의 장기 상태 유지와 대화 맥락 보존을 지원한다. 비전 기능은 테스트되었으나 작동을 위해서는 별도의 mmproj 파일을 모델 파일과 동일 폴더에 배치해야 하며 비디오 입력은 테스트되지 않았다고 명시되어 있다. 또한 출력 텐서의 일부를 16비트로 유지하는 하이브리드 정밀도 설정을 적용해 양자화 손실을 완화했다.

기술적 특징

• 모델 구성은 Qwen3.5 9B 기반을 출발점으로 여러 9B 파인튜닝 결과를 순차적으로 재학습하고 병합하는 다단계 파이프라인을 사용해 지능과 지시 이행 능력을 높였다. 이 병합 과정은 서로 다른 파인튜닝 스테이지에서 학습된 파라미터 조각을 결합해 전반적 성능을 끌어올리는 것을 목표로 하며, 로컬 하드웨어에서 수차례 병합과 평가를 반복해 최종 가중치를 결정했다. README는 이러한 다단계·다모델 접근이 모델의 '상향 전반 성능'에 기여했다고 명시했다.
• 포스트트레이닝 단계에서 'Heretic' 스타일 조정을 적용해 거부(refusal) 행위를 크게 줄였고, 그 결과 모델은 기본적으로 더 관대하게 출력을 생성하도록 동작한다. 구현상 거부 문구와 관련된 파라미터를 재조정하거나 특정 데이터로 재학습해 거부 기준을 낮추었으며, 이로 인해 민감한 콘텐츠에 대해서도 보다 적은 거부 응답을 보인다. 다만 README는 일부 explicit 출력의 경우 추가적인 지침(토큰 단위의 지시어 사용)이 필요하다고 명시해 안전성 관점에서의 사용 주의가 요구된다.
• 양자화는 NEO IMATRIX 방식으로 구현되며 Regular GGUF와 MTP GGUF 두 가지 변형을 제공한다. NEO IMATRIX는 텐서별 보정과 특수 스케일링을 통해 표준 GGUF 대비 2~4%의 정확도 개선을 목표로 설계되었고, MTP는 다중토큰 예측을 통해 처리량을 높이는 모드로 구현되었다. README는 MTP가 토큰 수락률에 따라 성능·속도 특성이 달라지므로 토큰 수락률과 온도·rep_pen 설정을 함께 튜닝할 것을 권장한다.
• 출력 텐서의 일부(전체 출력의 약 10~20%)를 16비트로 유지하는 하이브리드 정밀도 전략이 적용되어 저비트 양자화 시에도 출력 품질을 일부 보존한다. 이 접근은 양자화로 인한 미세한 분포 손실을 완화하기 위해 일부 민감 연산에서 더 높은 정밀도를 유지하도록 설계되었다. 결과적으로 로컬 양자화 실행 시 정확도와 처리량 사이의 균형을 더 유리하게 만든다.
• 긴 컨텍스트를 네이티브로 지원하도록 설계되어 기본 컨텍스트 길이는 256k 토큰이며 필요시 1,010,000 토큰까지 확장할 수 있다. 이러한 설계는 문서 단위의 연속성 유지, 장문 대화, 대규모 문서 요약 같은 작업에서 컨텍스트 손실을 줄이기 위해 이루어졌고, 실제 적용 시 토크나이저·메모리 관리·IO 전략의 조정이 필요하다. 비전 기능은 별도의 mmproj 파일을 통해 활성화되며 비전-언어 파이프라인 통합을 위한 파일 배치 지침이 README에 포함되어 있다.

차별점

• 다단계 파인튜닝과 다모델 병합으로 작은(9B) 모델임에도 여러 벤치마크에서 상위권 성능을 목표로 설계된 점이 차별화 요소이다. 여러 9B 파인튜닝 결과를 결합해 지시 이행과 추론 능력을 전반적으로 향상시키는 전략을 사용했고, 로컬 병합·평가를 반복해 최종 모델을 도출했다. 이 접근은 단일 스테이지 파인튜닝 모델과 비교해 파라미터 효율성을 높이려는 의도를 반영한다.
• NEO IMATRIX 기반의 GGUF 양자화와 MTP 모드를 함께 제공하여 사용자가 정확도와 처리량 사이에서 선택할 수 있게 했다는 점이 독특하다. MTP 모드는 다중토큰 예측을 활용해 특정 조건에서 T/S를 크게 향상시키며, 출력 텐서 일부를 16비트로 유지하는 하이브리드 전략으로 양자화 손실을 완화한다. 이러한 조합은 로컬 배포 환경에서 성능 최적화의 유연성을 제공한다.
• Heretic 포스트트레이닝을 통해 거부 동작을 의도적으로 낮추어 더 관대한 출력 성향을 제공하는 점이 사용자 경험 측면의 차별점이다. 이로 인해 민감 콘텐츠 생성에서 거부율이 낮아지는 대신 명시적 지침이 필요할 수 있으며, 안전성·윤리적 고려는 사용자가 별도로 관리해야 한다. 많은 공개 모델들이 기본적으로 보수적 거부 정책을 유지하는 것과 대비되는 설계 방향이다.

벤치마크

이미지 분석