conditional-computation

조건부 연산은 모든 파라미터를 매번 활성화하지 않고 입력에 따라 일부 경로만 실행하는 방식으로, Mixture-of-Experts 구조에서는 라우터가 선택한 소수의 expert만 가동하여 토큰당 실제 계산량을 제한하면서 전체 모델 용량을 크게 늘릴 수 있게 한다.