Sparse MoE Routing
희소 MoE 라우팅
Mixture-of-Experts 모델에서 입력마다 일부 Expert만 선택해 연산하는 방식입니다. Qwen3.6-35B-A3B의 구조처럼 전체 파라미터를 모두 활성화하지 않으면 모델 규모를 유지하면서 실제 추론에 필요한 계산량을 줄일 수 있습니다.
희소 MoE 라우팅
Mixture-of-Experts 모델에서 입력마다 일부 Expert만 선택해 연산하는 방식입니다. Qwen3.6-35B-A3B의 구조처럼 전체 파라미터를 모두 활성화하지 않으면 모델 규모를 유지하면서 실제 추론에 필요한 계산량을 줄일 수 있습니다.
