전문가 라우터
전문가 라우터는 입력을 받아 어떤 전문가(expert)를 활성화할지 결정하는 모듈로서, 입력 임베딩을 점수화한 뒤 상위 k개의 전문가를 선택하여 해당 전문가들만 활성화한다. 라우터는 선택 과정과 선택 확률의 정규화, 선택된 전문가 출력의 가중 합산을 처리하며, 라우터를 학습하면 전문가 배분이 데이터 특성에 맞게 최적화된다. MoE 파인튜닝에서 라우터를 함께 학습하면 전문가 활용 패턴을 변경할 수 있다.