RTX 3060 Ti 8GB에서 예상보다 빠른 Qwen3.5-35B-A3B-Heretic 실행 성능 및 모델 차이 문의

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

RTX 3060 Ti 8GB 환경에서 Qwen3.5 MoE 모델의 빠른 추론 속도 원인과 Heretic 변종 모델의 성능 저하 여부를 논의한다.

RTX 3060 Ti 8GB와 32GB RAM을 보유한 사용자가 Qwen3.5-35B-A3B-Heretic 모델을 LM Studio에서 실행하며 예상보다 빠른 속도에 놀라 그 원인과 모델의 품질 저하 여부를 질문했다.

저사양 하드웨어에서도 MoE 아키텍처를 통해 고성능 대형 모델을 활용할 수 있는 가능성이 확인됐다. 검열 해제 모델인 Heretic 버전의 품질 유지 여부는 로컬 LLM 사용자들 사이에서 중요한 선택 기준이 된다.

사용자의 하드웨어 사양 대비 높은 성능에 대해 MoE 구조의 특성을 들어 설명하는 반응이 주를 이룬다.

VRAM이 부족한 경우 MoE 모델을 선택하고 레이어 일부를 CPU로 오프로딩하면 대형 모델도 구동 가능하다.
LM Studio에서 Number of layers for which to force MoE weights onto CPU 설정을 조절하여 성능과 메모리 균형을 맞출 수 있다.

사용자는 RTX 3060 Ti 8GB 환경에서 35B 규모의 MoE 모델인 Qwen3.5를 실행하며 약 2.5 t/s의 속도를 기록했다. 이는 30개의 MoE 레이어를 CPU로 오프로딩하고 Q4_K_M 양자화를 적용한 결과이다.

MoE(Mixture of Experts) 아키텍처의 특성상 전체 파라미터 중 극히 일부(A3B, 즉 Active 3B)만 추론에 사용되므로, VRAM이 부족한 환경에서도 일반적인 35B 모델보다 훨씬 빠른 속도가 가능하다.

Heretic 버전은 abliteration 도구를 사용하여 모델의 검열을 제거한 버전이다. 사용자는 이 과정에서 모델의 지능이나 품질이 저하되는 거세(castrated) 현상이 발생하는지 우려하고 있다.

50k에 달하는 긴 컨텍스트를 사용함에도 불구하고 20초 내외의 출력 시간을 보여주는 것은 MoE의 효율성과 LM Studio의 최적화가 결합된 결과로 해석된다.