라우터 초기화
모델 입력을 어떤 Expert로 보낼지 결정하는 Router의 가중치를 초기화하는 절차로, 본문에서는 클러스터 중심(centroid)을 Router Weight로 사용해 초기 라우팅이 데이터의 의미 구조와 정렬되도록 설계했다. 무작위 초기화로 인한 의미 없는 초기 라우팅을 피하고 학습 초기에 유의미한 Expert 할당을 유도하는 것이 목적이다. 이러한 초기화는 초기 학습 단계에서의 Routing Entropy 감소와 보다 확신 있는 토큰 배정을 가능하게 했다.
