TL;DR

이 모델은 HauhauCS의 Qwen3.6-35B-A3B 기반으로 배포된 Genesis Hermes V3 GGUF로서 이미지와 텍스트를 함께 받아 텍스트를 생성하는 멀티모달 image-text-to-text 파이프라인을 목표로 한다. 핵심 기술로는 256개 전문가를 가진 MoE 아키텍처로 토큰당 약 8개 전문가만 활성화해 추론 시 약 3B만 활성화되도록 해 비용을 줄이는 점과 Gated DeltaNet 선형 어텐션과 full softmax 어텐션을 혼합한 하이브리드 어텐션이 있다. 업로더는 재학습 대신 Sig-ScaleSync-Genesis-SVD라는 수치적 복원 기법으로 텐서 분포를 스캔·대체·정규화해 세 개의 ssm_conv1d 계층에서 W1과 S 지표를 크게 개선했고 해당 진단에서는 500개 텐서 중 497개가 정상 판정되었다. 결과적으로 긴 컨텍스트(262K 토큰 기본, YaRN으로 1M 확장 가능)와 멀티모달 처리가 가능한 배포본이지만 시각 기능을 위해 mmproj 파일이 필요하고 양자화 및 오프로드 설정에 따라 안정성 차이가 발생할 수 있다.

핵심 역량

• 이미지와 텍스트를 입력으로 받아 자연어 응답을 생성하는 기능을 제공하며 multimodal pipeline_tag로 image-text-to-text 작업을 수행할 수 있다. README에 제시된 테스트 사례들은 SVG와 정적 이미지 변형 요청에 대한 텍스트 및 파일 출력이 가능함을 보여준다. 이러한 멀티모달 능력은 시각 정보를 텍스트 맥락에 통합해 상세 묘사나 편집 명령을 수행하는 데 유용하다.
• 매우 긴 컨텍스트를 처리할 수 있는 능력을 갖추고 있으며 네이티브 262K 토큰 컨텍스트와 YaRN을 통한 1M 토큰 확장 옵션을 지원한다. 긴 컨텍스트는 문맥 유지와 대화의 일관성, 장기 의존성 문제 완화에 기여한다. SSM 계층 관련 수리 및 스케일 정규화는 긴 컨텍스트에서의 메모리 안정성을 높이기 위한 수치적 조치로 연결된다.
• 추론 시 활성화되는 파라미터를 줄여 효율을 확보하는 MoE 구조와 GGUF 배포를 통해 실전 환경에서의 비용·메모리 효율을 높일 수 있다. 권장 양자화 형식(APEX, Q8_K_P)과 런타임 호환성(llama.cpp, LM Studio 등) 설정으로 낮은 메모리 환경에서도 운영이 가능하도록 구성되어 있다. 모델은 텐서 수리와 권장 오프로드 설정을 병행해 안정적인 실사용을 도모한다.

강점

• 네이티브 멀티모달 지원과 매우 긴 컨텍스트(262K 토큰)를 제공해 이미지와 텍스트를 결합한 장기 문맥 작업에서 유리한 구조를 갖춘 점이 강점이다. 긴 컨텍스트는 대화형 에이전트나 문서급 이해 작업에서 정보 손실을 줄이는 데 기여한다. YaRN을 통한 1M 토큰 확장 옵션이 추가적 확장성을 제공한다.
• MoE 설계를 적용해 전체 35B 파라미터를 유지하면서 토큰당 활성화되는 파라미터를 약 3B 수준으로 제한함으로써 추론 효율을 개선한 점이 강점이다. 이 구조는 대형 모델의 메모리 요구를 낮추어 한정된 하드웨어 자원에서도 고용량 모델을 운용할 수 있게 한다. README는 전문가 수와 라우팅 관련 설정을 통해 실사용에서의 성능·안정성 조절이 가능함을 제시했다.
• 업로더가 제시한 텐서 진단과 수리 결과에서 500개 분석 중 497개가 정상 판정을 받았고 세 개의 ssm_conv1d 계층에 대한 스케일 보정이 W1과 S 지표에서 큰 개선을 보인 점은 배포본의 수치적 건전성을 뒷받침한다. 수리 후 W1 지표가 최대 약 76.2% 개선된 수치가 보고되어 실사용 안정성 확보에 기여했음이 확인됐다. 이러한 수리 로그는 재학습 없이도 분포 불일치 문제를 저감할 수 있음을 의미한다.

훈련 방식

모델은 HauhauCS의 Qwen3.6-35B-A3B-Uncensored-Aggressive를 기반으로 하며 DJLougen의 Hermes 용 파인튜닝 이력이 참조되어 있고 업로더는 별도의 재학습 없이 Sig-ScaleSync-Genesis-SVD 수리 기법으로 텐서 분포를 보정했다고 명시했다.

알아두면 좋은 것

• 배포본은 HauhauCS의 Qwen3.6-35B-A3B-Uncensored-Aggressive를 기반으로 하며 DJLougen의 Hermes 에이전트용 파인튜닝을 참조한 이력이 함께 기재되어 있다. 이 기반 명시는 모델의 출처와 파생 관계를 추적 가능하게 만든다. 라이선스는 apache-2.0으로 표기되어 상용·비상업적 사용에서의 조건을 확인할 수 있다.
• 업로더는 재학습 대신 Sig-ScaleSync-Genesis-SVD라는 수치적 복원 기법으로 텐서 드리프트와 스케일 불일치를 보정했다고 명시했다. 진단 표에 따르면 500개 텐서 중 497개가 정상 판정을 받았고 세 개의 ssm_conv1d 계층에서 스케일 보정이 수행되어 W1과 S 지표가 크게 개선되었다. 해당 수치는 수리 절차가 분포 정규화에 실질적 영향을 줬음을 나타낸다.
• GGUF 형식으로의 배포와 호환성 정보는 llama.cpp, LM Studio, koboldcpp 등 GGUF 호환 런타임에서 사용 가능하다고 명시되어 있다. Vision 기능 사용을 위해서는 mmproj 파일이 GGUF 파일과 함께 필요하다고 안내되어 있어 시각 입력을 활성화하려면 추가 파일을 준비해야 한다. 양자화 스크립트 링크와 권장 설정이 포함되어 있어 사용자가 자체로 양자화를 시도하기 쉬운 구성이 제공되었다.
• 권장 양자화 방식으로 APEX와 Q8_K_P가 제시되었고 RTX 3060 12GB용 구체적 권장 설정(예: K/V 캐시 F16, MoE 일부 레이어의 CPU 오프로드, 활성 전문가 수 등)이 README에 포함되어 있다. 이러한 하드웨어별 지침은 낮은 VRAM 환경에서의 안정적 실행을 돕기 위한 실무적 팁으로 기능한다. 모델 안정성과 첫 사용 경험을 위한 시스템 프롬프트 예시도 함께 제공되었다.

기술적 특징

• Sig-ScaleSync-Genesis-SVD라는 텐서 수리 기법은 손상된 텐서 블록을 스캔해 동일한 이름과 형태를 가진 텐서들에서 분포에 맞는 청크를 선택해 손상 블록의 제로 영역을 교체하는 방식으로 동작한다. 이 방법은 학습 가중치를 건드리지 않고 수치적 신호를 재구성해 분포 왜곡을 완화하도록 설계되었다. 리드미의 진단 표에서는 S와 W1 지표의 감소로 수리 효과가 수치적으로 확인되었다.
• ssm_conv1d 계층은 장기 컨텍스트 유지에 중요한 역할을 하며 본 배포에서는 해당 계층의 과도한 스케일을 알파(α) 배율로 정규화해 동료 계층과 분포를 일치시켰다. 세 개의 블록에서 α 값(예: 0.5765, 0.5768, 0.6533)이 계산되어 스케일 보정이 수행되었고 W1은 약 80% 수준으로 감소했다는 진단이 제시되었다. 이러한 수치 정규화는 긴 문맥 처리 중 발생할 수 있는 분포 불균형과 포화 문제를 낮추는 효과를 목적으로 한다.
• 아키텍처는 하이브리드 형태의 어텐션을 채택해 Gated DeltaNet 기반의 선형 연산과 full softmax 어텐션을 3대1 비율로 혼합하고 있으며 레이어 패턴은 40층 구조에서 10회 반복되는 블록으로 구성되어 있다. 이 배치는 계산 효율과 표현력을 동시에 확보하려는 설계로서 DeltaNet 연산은 비용을 줄이는 반면 일부 full attention 계층은 핵심적 글로벌 상호작용을 담당한다. MoE와 결합된 이러한 혼합 전략은 대규모 멀티모달 입력을 처리하면서도 실용적 추론 비용을 유지하기 위한 의도로 보인다.
• 배포 가이드에서는 양자화와 실사용 권장 설정을 구체적으로 제시했으며 APEX 또는 Q8_K_P 양자화를 권장했다. 또한 RTX 3060 12GB 환경에서 K/V 캐시 형식을 F16으로 설정하고 일부 MoE 레이어를 CPU로 강제 오프로드하는 등 하드웨어별 안정화 지침을 제시했다. GGUF 형식과 호환되는 런타임(llama.cpp, LM Studio 등)에서 동작하도록 구성되어 있어 다양한 환경에서의 실험과 최적화가 가능하다.

차별점

• 업로더가 제시한 Sig-ScaleSync-Genesis-SVD 수리 절차로 텐서 분포를 보정해 재학습 없이도 손상된 블록을 대체하고 분포 지표를 개선한 점이 차별화 요소다.
• 256개의 전문가와 토큰당 8개 활성화라는 MoE 구성으로 총 35B 파라미터를 유지하면서도 전방 연산에서 약 3B의 활성 파라미터만 사용하도록 설계된 점이 실사용 효율성에서 눈에 띈다.
• Gated DeltaNet 기반의 선형 어텐션과 full softmax 어텐션을 3대1 비율로 혼합한 하이브리드 어텐션 구조로서 계산 효율과 전역 상호작용을 균형 있게 확보하려는 설계 선택이 식별된다.