RTX 3060 Ti 8GB에서 예상보다 빠른 Qwen3.5-35B-A3B-Heretic 실행 성능 및 모델 차이 문의

커뮤니티 반응

사용자의 하드웨어 사양 대비 높은 성능에 대해 MoE 구조의 특성을 들어 설명하는 반응이 주를 이룬다.

VRAM이 부족한 경우 MoE 모델을 선택하고 레이어 일부를 CPU로 오프로딩하면 대형 모델도 구동 가능하다.
LM Studio에서 Number of layers for which to force MoE weights onto CPU 설정을 조절하여 성능과 메모리 균형을 맞출 수 있다.

사용자는 RTX 3060 Ti 8GB 환경에서 35B 규모의 MoE 모델인 Qwen3.5를 실행하며 약 2.5 t/s의 속도를 기록했다. 이는 30개의 MoE 레이어를 CPU로 오프로딩하고 Q4_K_M 양자화를 적용한 결과이다.

MoE(Mixture of Experts) 아키텍처의 특성상 전체 파라미터 중 극히 일부(A3B, 즉 Active 3B)만 추론에 사용되므로, VRAM이 부족한 환경에서도 일반적인 35B 모델보다 훨씬 빠른 속도가 가능하다.

Heretic 버전은 abliteration 도구를 사용하여 모델의 검열을 제거한 버전이다. 사용자는 이 과정에서 모델의 지능이나 품질이 저하되는 거세(castrated) 현상이 발생하는지 우려하고 있다.

50k에 달하는 긴 컨텍스트를 사용함에도 불구하고 20초 내외의 출력 시간을 보여주는 것은 MoE의 효율성과 LM Studio의 최적화가 결합된 결과로 해석된다.

전문가 혼합(MoE): — 모델의 전체 파라미터 중 추론 시 일부 전문가(Expert) 네트워크만 활성화하여 연산 효율을 극대화하는 아키텍처이다. 메모리 요구량은 전체 파라미터 크기에 비례하지만, 실제 연산량은 활성화된 파라미터(Active Parameters)에만 의존하여 추론 속도가 매우 빠르다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(예: 4비트)로 변환하여 메모리 점유율을 줄이고 추론 속도를 높이는 기법이다. 로컬 환경에서 VRAM 용량 한계를 극복하고 대형 모델을 실행하기 위해 필수적으로 사용된다.
어블리터레이션(Abliteration): — 모델 내부에서 거부 반응이나 검열을 담당하는 특정 활성화 경로를 찾아내어 이를 수정하거나 제거함으로써 모델의 제약을 해제하는 기법이다. 파인튜닝 없이도 모델의 성향을 바꿀 수 있으나 전반적인 지능 저하 가능성에 대한 논란이 있다.
오프로딩(Offloading): — GPU의 VRAM이 부족할 때 모델의 일부 레이어를 시스템 RAM(CPU)으로 넘겨 계산을 분담하는 방식이다. 추론 속도는 느려지지만 하드웨어 한계를 넘어 더 큰 모델을 실행할 수 있게 해준다.

사용자의 하드웨어 사양 대비 높은 성능에 대해 MoE 구조의 특성을 들어 설명하는 반응이 주를 이룬다.

VRAM이 부족한 경우 MoE 모델을 선택하고 레이어 일부를 CPU로 오프로딩하면 대형 모델도 구동 가능하다.
LM Studio에서 Number of layers for which to force MoE weights onto CPU 설정을 조절하여 성능과 메모리 균형을 맞출 수 있다.

50k에 달하는 긴 컨텍스트를 사용함에도 불구하고 20초 내외의 출력 시간을 보여주는 것은 MoE의 효율성과 LM Studio의 최적화가 결합된 결과로 해석된다.

전문가 혼합(MoE): — 모델의 전체 파라미터 중 추론 시 일부 전문가(Expert) 네트워크만 활성화하여 연산 효율을 극대화하는 아키텍처이다. 메모리 요구량은 전체 파라미터 크기에 비례하지만, 실제 연산량은 활성화된 파라미터(Active Parameters)에만 의존하여 추론 속도가 매우 빠르다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(예: 4비트)로 변환하여 메모리 점유율을 줄이고 추론 속도를 높이는 기법이다. 로컬 환경에서 VRAM 용량 한계를 극복하고 대형 모델을 실행하기 위해 필수적으로 사용된다.
어블리터레이션(Abliteration): — 모델 내부에서 거부 반응이나 검열을 담당하는 특정 활성화 경로를 찾아내어 이를 수정하거나 제거함으로써 모델의 제약을 해제하는 기법이다. 파인튜닝 없이도 모델의 성향을 바꿀 수 있으나 전반적인 지능 저하 가능성에 대한 논란이 있다.
오프로딩(Offloading): — GPU의 VRAM이 부족할 때 모델의 일부 레이어를 시스템 RAM(CPU)으로 넘겨 계산을 분담하는 방식이다. 추론 속도는 느려지지만 하드웨어 한계를 넘어 더 큰 모델을 실행할 수 있게 해준다.