Qwen3.5 35B A3B 모델 수정 및 Claude Opus 데이터셋 기반 파인튜닝 버전 공개

작성자가 직접 수정한 모델과 양자화 스크립트에 대해 긍정적인 반응이 예상되며, 특히 로컬 LLM 사용자들 사이에서 MoE 모델의 오류 수정 사례로 주목받고 있다.

• 제공된 Hugging Face 링크에서 GGUF 모델을 다운로드하여 llama.cpp 등에서 실행 가능하다.
• 양자화 시 메모리가 부족하다면 작성자가 공유한 UD 양자화 프로필과 Colab 스크립트를 활용하라.

MoE

— 모델의 전체 파라미터 중 일부만 활성화하여 추론 효율성을 높이는 아키텍처이다. 입력 데이터에 따라 적절한 '전문가(Expert)' 레이어로 신호를 보내는 라우팅 메커니즘이 핵심이며, 연산량 대비 높은 성능을 제공한다.

GGUF

— llama.cpp 등에서 널리 쓰이는 LLM 저장 및 배포용 파일 포맷이다. 단일 파일 내에 모델 가중치와 메타데이터를 모두 포함하며, CPU와 GPU를 혼합한 추론 환경에 최적화되어 로컬 실행 시 필수적인 규격이다.

Dynamic Quantization

— 모델의 가중치를 낮은 비트(예: 4비트)로 압축하여 메모리 사용량을 줄이는 기술이다. 텐서별로 최적의 양자화 방식을 다르게 적용함으로써 모델의 정확도 손실을 최소화하면서도 실행 속도를 높이는 것이 목적이다.

FFN

— 트랜스포머 아키텍처에서 어텐션 레이어 다음에 위치하여 데이터를 비선형적으로 변환하는 계층이다. MoE 모델에서는 이 FFN이 여러 개의 전문가로 나뉘어 구성되며, 모델의 지식 저장과 복잡한 패턴 학습을 담당한다.