RTX 3060 Ti에서 Qwen 3.5 35B MoE 모델의 의외로 빠른 로컬 추론 성능

핵심 요약

RTX 3060 Ti와 32GB RAM 환경에서 Qwen 3.5 35B MoE 모델을 LM Studio로 구동하며 기대 이상의 추론 속도와 모델 변형의 특성을 논의한다.

배경

사용자가 RTX 3060 Ti(8GB VRAM)와 32GB RAM 시스템에서 Qwen3.5-35B-A3B-Heretic 모델을 LM Studio로 실행한 후, 예상보다 빠른 성능의 원인과 해당 모델 변형의 품질 저하 여부를 커뮤니티에 문의했다.

의미 / 영향

MoE 아키텍처가 로컬 환경의 하드웨어 제약을 극복하는 데 매우 효과적임이 확인됐다. 특히 VRAM이 부족한 환경에서도 시스템 RAM을 활용한 레이어 오프로딩과 MoE의 희소 활성화 특성이 결합되어 실용적인 추론 속도를 제공한다.

커뮤니티 반응

사용자의 하드웨어 사양 대비 높은 성능에 대해 긍정적인 반응이며, MoE 모델의 로컬 구동 가능성과 효율적인 자원 분배 방식에 주목하고 있다.

주요 논점

01중립다수

MoE 모델의 구조적 특성상 부분적 CPU 오프로딩이 일반 모델보다 효율적이라는 분석이다.

합의점 vs 논쟁점

합의점

MoE 모델은 VRAM 제약이 있는 환경에서 일반 모델보다 유리하다.
LM Studio의 오프로딩 기능이 로컬 LLM 활용도를 높이는 데 기여한다.

논쟁점

Abliteration 처리가 모델의 실제 추론 능력이나 지능을 유의미하게 저하시키는지 여부

실용적 조언

VRAM이 부족할 경우 MoE 모델을 선택하고 레이어 일부를 CPU로 오프로드하여 사용하라.
검열 없는 모델을 원한다면 Heretic이나 Abliterated 태그가 붙은 모델을 확인하라.

언급된 도구

LM Studio추천링크

로컬 LLM 실행 및 관리 도구

섹션별 상세

MoE(Mixture of Experts) 아키텍처의 효율성에 관한 논의가 이루어졌다. Qwen 3.5 35B 모델은 전체 파라미터는 크지만 실제 추론 시에는 일부 전문가(Expert) 레이어만 활성화하므로, VRAM이 부족한 환경에서도 CPU 오프로딩을 통해 상대적으로 빠른 속도를 낼 수 있다는 점이 핵심이다. 이러한 구조적 특성 덕분에 8GB GPU에서도 35B 규모의 모델이 초당 2.5토큰 수준의 성능을 기록한 것으로 분석된다.

Heretic 변형 모델의 특성과 품질에 대한 의문이 제기됐다. Heretic은 'Abliteration' 기술을 사용하여 모델의 거부 반응(Refusal)을 제거한 버전으로, 일부 사용자는 이 과정에서 모델의 지능이나 논리적 일관성이 소폭 하락할 수 있다는 우려를 공유했다. 단순히 검열을 해제하는 것을 넘어 모델의 가중치를 조정하는 방식이기에 원본 모델과의 성능 차이가 발생할 가능성이 존재한다.

LM Studio의 레이어 오프로드 설정 최적화가 성능에 미치는 영향이 언급됐다. 사용자가 30개의 MoE 레이어를 CPU로 강제 할당했음에도 불구하고 양호한 속도를 유지한 것은 MoE 모델의 희소성(Sparsity) 덕분에 메모리 대역폭 병목이 완화되었기 때문으로 나타났다. 이는 로컬 환경에서 대형 모델을 구동할 때 하이브리드 가속(GPU+CPU) 설정이 매우 유효한 전략임을 시사한다.

실무 Takeaway

MoE 모델은 전체 파라미터 대비 활성 파라미터 수가 적어 저사양 하드웨어에서도 오프로딩 효율이 높다.
Heretic 버전은 검열을 제거하기 위해 Abliteration 기법을 적용한 모델로 원본 대비 미세한 성능 변화가 있을 수 있다.
8GB VRAM 환경에서도 적절한 양자화(Q4_K_M)와 시스템 RAM을 활용하면 35B 규모의 MoE 모델을 실사용 가능한 수준으로 구동할 수 있다.