Qwen3.5 35B A3B 모델 수정 및 Claude Opus 데이터셋 기반 파인튜닝 버전 공개

실용적 조언

제공된 Hugging Face 링크에서 GGUF 모델을 다운로드하여 llama.cpp 등에서 실행 가능하다.
양자화 시 메모리가 부족하다면 작성자가 공유한 UD 양자화 프로필과 Colab 스크립트를 활용하라.

섹션별 상세

작성자는 Qwen3.5 35B A3B 모델의 구조적 결함을 식별하고 이를 수정했다. 구체적으로 어텐션 메커니즘, Dense FFN, MoE 라우팅 전문가 및 공유 전문가 텐서에서 발견된 오류를 바로잡았다. 이러한 수정은 MoE 아키텍처에서 전문가 간의 데이터 흐름이 왜곡되는 문제를 해결하여 모델의 안정성을 확보했다.

Claude Opus 데이터셋으로 파인튜닝된 모델과 HauhauCS의 검열 해제 버전을 병합했다. 병합 과정은 작성자가 직접 작성한 스크립트를 통해 수행됐으며, 이를 통해 논리적 추론 능력과 자유로운 응답 특성을 동시에 확보했다. 결과물은 Hugging Face를 통해 GGUF 포맷으로 배포되어 로컬 환경에서 즉시 실행 가능하다.

python

// ...(중략)
// Merging script for Qwen3.5 35B A3B
// https://pastebin.com/eB6zB4DU
// (원문 링크로 대체됨)

모델 병합(Merge)에 사용된 파이썬 스크립트 링크

모델의 코딩 능력을 검증하기 위해 HTML5와 Javascript를 이용한 아카노이드 게임 제작 테스트를 수행했다. 마우스 제어, 사운드 효과, 보너스 시스템, 우주 배경 디자인 등 복잡한 요구사항을 포함한 프롬프트를 입력했다. 테스트 결과, 모든 기능을 포함한 완성도 높은 코드가 생성됐음을 Pastebin 링크를 통해 증명했다.

Google Colab 무료 버전(CPU)에서도 실행 가능한 'Universal Dynamic(UD)' 양자화 워크플로를 제안했다. 기존 Unsloth 양자화 모델에서 텐서별 양자화 프로필을 추출하여 JSON으로 저장한 뒤, 이를 자신의 모델에 적용하는 방식이다. 이 방법을 통해 고성능 Q4_K_XL 양자화 모델을 저사양 환경에서도 효율적으로 생성할 수 있다.

python

// ...(중략)
// Universal Dynamic quantization workflow script
// https://pastebin.com/5Ba6qs7L
// (원문 링크로 대체됨)

Google Colab CPU 환경에서 실행 가능한 동적 양자화 스크립트 링크

용어 해설

전문가 혼합(MoE): — 모델의 전체 파라미터 중 일부만 활성화하여 추론 효율성을 높이는 아키텍처이다. 입력 데이터에 따라 적절한 '전문가(Expert)' 레이어로 신호를 보내는 라우팅 메커니즘이 핵심이며, 연산량 대비 높은 성능을 제공한다.
GGUF: — llama.cpp 등에서 널리 쓰이는 LLM 저장 및 배포용 파일 포맷이다. 단일 파일 내에 모델 가중치와 메타데이터를 모두 포함하며, CPU와 GPU를 혼합한 추론 환경에 최적화되어 로컬 실행 시 필수적인 규격이다.
동적 양자화(Dynamic Quantization): — 모델의 가중치를 낮은 비트(예: 4비트)로 압축하여 메모리 사용량을 줄이는 기술이다. 텐서별로 최적의 양자화 방식을 다르게 적용함으로써 모델의 정확도 손실을 최소화하면서도 실행 속도를 높이는 것이 목적이다.
피드포워드 신경망(FFN): — 트랜스포머 아키텍처에서 어텐션 레이어 다음에 위치하여 데이터를 비선형적으로 변환하는 계층이다. MoE 모델에서는 이 FFN이 여러 개의 전문가로 나뉘어 구성되며, 모델의 지식 저장과 복잡한 패턴 학습을 담당한다.

언급된 도구

Qwen3.5-35B-A3B추천

기반이 되는 MoE 언어 모델

GGUF추천

로컬 추론을 위한 모델 포맷

Google Colab중립

양자화 스크립트 실행 환경

언급된 리소스

DemoQwen3.5-35B-A3B-Claude-4.6-Opus-Uncensored-KL-UD-V2-GGUF

GitHubModel Merging Script

튜토리얼Universal Dynamic Quantization Script

문서Arkanoid Game Test Result