전문가 혼합 모델
전체 파라미터 중 추론 시 필요한 일부 전문가 네트워크만 활성화하는 아키텍처이다. 모든 파라미터를 사용하는 Dense 모델보다 연산량이 적어 메모리 대역폭이 제한적인 환경에서 상대적으로 빠른 추론이 가능하다.