ReLU 기반 routing
ReLU 기반 routing은 Softmax 기반의 TopK 대신 ReLU 활성화를 사용하여 토큰별로 활성화될 전문가의 수를 연속적으로 조절하고 미분 가능하게 학습하도록 하는 MoE 라우팅 기법이다.