Sparse Activation

모델의 전체 파라미터 중 특정 입력에 필요한 일부 뉴런만 활성화하는 방식이다. 메모리 사용량과 연산량을 획기적으로 줄여 거대 모델의 추론 속도를 높이는 데 기여한다.