TL;DR

이 모델은 HauhauCS의 Qwen3.6-35B-A3B를 기반으로 Genesis라는 수치적 텐서 수리 알고리즘을 적용해 재학습 없이 가중치 노이즈를 줄이고 멀티모달·대컨텍스트 능력을 보존한 베이스 모델이다. 작동 방식은 ssm_conv1d 같은 장문맥 관련 텐서를 스캔해 특정 가중치들을 제외하고 커스텀 SVD로 잡음 성분을 제거하며 손상된 제로 블록은 분할된 청크 중 분포에 맞는 청크로 대체하는 세 단계 절차를 따른다. 결과적으로 MoE 구조로 총 35B 파라미터를 유지하면서 토큰당 약 3B만 활성화하고 262K 네이티브 컨텍스트를 제공함으로써 긴 문맥과 이미지-텍스트 결합 태스크에서 실용적 효율을 확보한다. 다만 수치 보정 절차의 객관적 비교 벤치마크 수치는 README에 제시되지 않아 성능 증명은 사용자가 양자화·추론 실험을 통해 확인해야 한다.

핵심 역량

• 이미지와 텍스트를 결합한 질의에 대해 문장형 응답을 생성할 수 있으며 모델 내부의 시각 모듈과 텍스트 디코더를 연결해 이미지 기반 지시를 이행한다. README는 비전 지원을 위해 mmproj 파일이 필요하다고 명시했고 GGUF 런타임에서 동작함이 확인된다. 멀티링구얼 입력을 인식해 영어·중국어 등 다국어로 응답을 생성할 수 있다.
• 장기 컨텍스트를 유지하면서 연속적 대화를 처리할 수 있으며 기본 스펙상 262K 네이티브 컨텍스트를 제공하고 YaRN으로 1M까지 확장 가능하다. MoE 설계로 토큰당 활성 파라미터를 제한해 실질적 연산량을 줄이는 동시에 긴 히스토리를 반영한 응답을 생성한다. 이로 인해 긴 문맥을 요구하는 에이전트·문서 요약·코드 유지보수 시나리오에서 유리하다.
• 로컬 환경에서 GGUF 호환 런타임과 APEX 양자화를 조합해 추론을 경량화할 수 있으며 README에 RTX 3060 12GB 설정 예시가 제공되어 실사용 초기 설정을 지원한다. MoE의 일부 계층만 CPU 오프로딩하거나 특정 레이어를 F16 캐시로 설정하는 권장값이 포함되어 실용적 배포 가이드라인을 제공한다. 양자화 스크립트 링크가 포함되어 사용자자체 실험이 가능하다.
• 역할 기반 시스템 프롬프트와 세부 하이퍼파라미터 템플릿(temperature, top_p 등)이 제공되어 다양한 톤·목적의 대화 에이전트를 구성할 수 있다. README는 agentic 사용을 위한 'thinking' 모드와 'non thinking' 모드의 설정을 구체적으로 제시했다. 이로 인해 에이전트형 작업에서 응답 스타일을 통제하는 데 도움이 된다.

강점

• 대규모 컨텍스트 처리 역량과 멀티모달 지원이 결합되어 긴 대화 히스토리나 이미지 기반 질의의 문맥 의존성을 잘 반영한다. 262K 네이티브 컨텍스트와 YaRN 확장 옵션이 장문 맥락 유지에 직결된다. 이 특성은 문서 수준 생성이나 대화형 에이전트에 실용적 이점을 제공한다.
• MoE 아키텍처로 총 파라미터는 크지만 전방 전달 시 활성 파라미터를 제한하여 계산·메모리 효율을 확보한다. README는 256개 전문가 중 토큰당 8개를 활성화하여 약 3B가 활성화된다고 제시했다. 이 구조는 동일 모델 크기 대비 추론 비용을 낮추는 장점이 있다.
• 로컬 친화적인 GGUF 포맷과 Apache-2.0 라이선스, 그리고 구체적인 RTX 3060 권장 설정과 양자화 스크립트 링크를 제공해 사용자가 직접 양자화·배포 실험을 수행하기 쉬운 편의성을 갖췄다. 실무에서 빠른 실험·배포가 가능한 환경을 지원한다.

훈련 방식

HauhauCS/Qwen3.6-35B-A3B-Uncensored 기반의 베이스 모델을 출발점으로 했고 Genesis라는 후처리 텐서 수리 알고리즘으로 학습된 신호의 노이즈를 제거하는 방식으로 품질을 개선했으며 Hermes 데이터셋 관련 파인튜닝 결과 일부를 전파·통합한 과정이 README에 기술되어 있다.

알아두면 좋은 것

• Genesis는 재학습 없이 모델의 텐서 노이즈를 수치적으로 보정하는 후처리 방식으로서 ssm_conv1d 텐서의 균형을 복원하고 특정 가중치들을 제외한 상태에서 커스텀 SVD를 적용한다고 기술되어 있다.
• 스펙상 모델은 총 35B 파라미터이며 MoE 동작으로 실제 전방 전달 시 약 3B 활성 파라미터만 사용하고 256개 전문가, 토큰당 8개 활성 전문가 구조를 채택한다고 명시되어 있다.
• 하이브리드 구조로 DeltaNet 선형 어텐션과 full softmax 어텐션을 3:1 비율로 혼합하고 40층 구성(10 × (3 × DeltaNet-MoE + 1 × Attention-MoE))을 사용한다고 보고되었다.
• 라이선스는 Apache-2.0이며 GGUF 포맷과 LM Studio, llama.cpp 등 주요 로컬 런타임과 호환된다고 명시되어 있어 로컬 배포와 커스텀 양자화가 실무적으로 용이하다.

기술적 특징

• Genesis 수리 절차는 모델 파일의 텐서를 스캔하여 ssm_conv1d 같은 장문맥 관련 텐서의 스케일 불균형과 제로 블록을 탐지한 뒤 커스텀 SVD로 잡음 성분을 줄이고 주요 신호를 보존하는 방식으로 동작한다. 이 과정에서 token_embd.weight, output.weight, 1D 텐서, bias 및 norm 계열은 스캔에서 제외하여 학습된 구조를 훼손하지 않도록 설계되었다. 저수준 수치 보정으로 재학습 없이 응답의 안정성과 맥락 기억을 회복하는 것을 목표로 삼는다.
• 스캔-청소-치환의 3단계 워크플로우에서 세 번째 단계는 텐서를 청크 단위로 분할해 분포에 가장 잘 맞는 청크를 선택하고 손상된 제로 청크를 교체하는 전략을 사용한다. 이 방식은 전체 가중치의 구조를 유지하면서 부분적 결함을 보완해 내부 신호의 연속성을 회복한다. 선택적 교체는 훈련된 기울기 구조를 최대한 보존하는 데 초점을 맞춘다.
• 하이브리드 어텐션 설계는 DeltaNet 선형 어텐션과 full softmax 어텐션을 3:1 비율로 혼합해 연산 효율과 표현력을 균형시켰다. 모델 패턴은 40층 구조로 10번 반복되는 블록 안에 3개의 DeltaNet-MoE와 1개의 Attention-MoE를 배치해 로컬 선형 처리와 글로벌 softmax 처리를 병행한다. 이러한 설계는 대규모 컨텍스트에서 처리량과 품질을 동시에 확보하려는 설계 선택이다.
• MoE 라우팅 구성은 256개 전문가를 보유하고 토큰당 8개 활성 전문가와 1개의 공유 전문가를 사용해 실제 활성 파라미터를 줄인다. 라우팅은 특정 FFN 전문가에 작업을 분배함으로써 모델 용량을 키우면서도 추론 비용을 관리한다. README는 일부 레이어의 MoE 가중치를 CPU로 오프로드하거나 활성 전문가 수를 조정하는 실무 권장값을 제시했다.

차별점

• Genesis라는 후처리 수리 알고리즘을 통해 재학습 없이 텐서 노이즈를 줄여 신호 정화를 목표로 삼은 점.
• MoE 기반 대규모 파라미터 설계에서 토큰당 활성 파라미터를 약 3B로 제한해 효율과 용량을 동시에 추구한 점.
• DeltaNet 선형 어텐션과 full softmax 어텐션을 하이브리드로 혼합한 3:1 비율의 어텐션 설계.