활성 가중치
MoE 구조에서 특정 시점에 실제로 연산에 참여하는 파라미터의 부분집합을 의미한다. 전체 파라미터 규모가 1조 개더라도 실제 추론 시에는 수십억 개의 활성 가중치만 계산에 사용되어 자원을 절약한다.