TL;DR

이 모델은 HauhauCS의 Qwen3.6-35B-A3B 기반으로 배포된 Genesis Hermes V3 GGUF로서 이미지와 텍스트를 함께 받아 텍스트를 생성하는 멀티모달 image-text-to-text 파이프라인을 목표로 한다. 핵심 기술로는 256개 전문가를 가진 MoE 아키텍처로 토큰당 약 8개 전문가만 활성화해 추론 시 약 3B만 활성화되도록 해 비용을 줄이는 점과 Gated DeltaNet 선형 어텐션과 full softmax 어텐션을 혼합한 하이브리드 어텐션이 있다. 업로더는 재학습 대신 Sig-ScaleSync-Genesis-SVD라는 수치적 복원 기법으로 텐서 분포를 스캔·대체·정규화해 세 개의 ssm_conv1d 계층에서 W1과 S 지표를 크게 개선했고 해당 진단에서는 500개 텐서 중 497개가 정상 판정되었다. 결과적으로 긴 컨텍스트(262K 토큰 기본, YaRN으로 1M 확장 가능)와 멀티모달 처리가 가능한 배포본이지만 시각 기능을 위해 mmproj 파일이 필요하고 양자화 및 오프로드 설정에 따라 안정성 차이가 발생할 수 있다.

핵심 포인트

• 업로더가 제시한 Sig-ScaleSync-Genesis-SVD 수리 절차로 텐서 분포를 보정해 재학습 없이도 손상된 블록을 대체하고 분포 지표를 개선한 점이 차별화 요소다.
• 256개의 전문가와 토큰당 8개 활성화라는 MoE 구성으로 총 35B 파라미터를 유지하면서도 전방 연산에서 약 3B의 활성 파라미터만 사용하도록 설계된 점이 실사용 효율성에서 눈에 띈다.
• Gated DeltaNet 기반의 선형 어텐션과 full softmax 어텐션을 3대1 비율로 혼합한 하이브리드 어텐션 구조로서 계산 효율과 전역 상호작용을 균형 있게 확보하려는 설계 선택이 식별된다.
• 네이티브 멀티모달 지원과 매우 긴 컨텍스트(262K 토큰)를 제공해 이미지와 텍스트를 결합한 장기 문맥 작업에서 유리한 구조를 갖춘 점이 강점이다. 긴 컨텍스트는 대화형 에이전트나 문서급 이해 작업에서 정보 손실을 줄이는 데 기여한다. YaRN을 통한 1M 토큰 확장 옵션이 추가적 확장성을 제공한다.